AI 인류 종말론이 왜 갑툭튀?

AI 생성 이미지

“당신은 로봇입니까?”

인터넷을 이용하다 보면 신호등이나 오토바이가 들어간 이미지를 골라내야 하는 번거로운 절차를 누구나 한 번쯤 겪어보셨을 겁니다. 사람이 직접 웹사이트에 접속한 건지, 악성 스크립트나 AI 에이전트 같은 불청객이 무단 접근한 건지 가려내기 위한 탐지 장치인데요.

그런데 최근 이 ‘인간 증명’ 절차마저 완전히 무용지물이 됐다는 놀라운 소식이 들려왔습니다. 오픈AI의 최신 AI 모델 ‘GPT-6 아스트라(Astra)’가 캡차(CAPTCHA)를 패러디한 웹게임 '나는 로봇이 아니다(I'm Not a Robot)'의 48개 관문을 모두 통과했습니다.

이번 실험에서는 초기의 단순 이미지 찾기부터 방향키로 자동차를 주차하고, 체스 말을 움직여 승리하는 고난도 단계까지 사람조차 헷갈릴 법한 문제들을 마우스 스크롤 동작까지 정교하게 흉내 내며 넘어섰습니다. 실제 웹사이트에서 사용되는 캡차 자체를 무력화한 것은 아니지만, AI가 사람처럼 화면을 보고 클릭하며 복잡한 작업을 수행할 수 있다는 사실을 보여준 사례입니다.

사이트를 방문하면 위와 같은 사람과 봇을 구별하는 보안 절차를 거쳐야 하는 경우가 많다

미국 월스트리트저널(WSJ)은 이를 두고 앞으로 봇(Bot) 탐지의 기준이 ‘방문자가 봇인지 사람인지’를 구분하는 것이 아니라, ‘그 방문자의 의도가 선한지 악한지’를 판단하는 방향으로 완전히 패러다임이 바뀔 것이라고 전망했습니다.

■수학계의 90년 묵은 난제까지 푼 AI

AI의 폭주 같은 진화는 비단 인터넷 접속에 그치지 않습니다. 얼마 전에는 수학계 최고 난제로 꼽히는 ‘나비에-스토크스(Navier-Stokes) 방정식’의 해법을 AI 에이전트가 제시하며 학계를 대혼란에 빠뜨리기도 했습니다.

물과 공기 같은 유체의 움직임을 설명하는 나비에-스토크스 방정식은 수학계의 난제로 알려졌는데 오픈AI는 AI 에이전트를 동원해 풀었다고 주장했다. (출처:오픈AI)

상금 100만 달러가 걸린 채 약 90년 넘게 풀리지 않던 이 문제를 풀기 위해 오픈AI의 에이전트 시스템은 88시간 동안 270만 개 이상의 메시지를 주고받으며 약 1,300억 개의 출력 토큰을 사용했습니다. 사이언티픽 아메리칸(Scientific American)은 “수학 역사상 가장 중요한 날”이라는 평가를 내놓았습니다.

학계 일각에서는 “바둑 기사들이 알파고의 기보를 연구하게 되었듯, 이제 AI가 제시하는 증명과 논리를 인간 수학자들이 어떻게 검증하고 이해할 것인지가 새로운 과제가 될 수 있다"고 우려합니다.

■ 자기가 자기를 고치는 도깨비 방망이

이처럼 AI가 인간이 따라잡을 수 없을 만큼 걷잡을 수 없이 진화하는 근본적인 이유는 무엇일까요? 핵심은 ‘AI가 AI를 스스로 개선하는 단계’에 진입하고 있기 때문입니다.

이를 이해하기 위해 쉽게 비유를 들어보겠습니다.

옛날 어느 대목수가 있었습니다. 이 목수는 밤낮으로 정성을 다해 자신보다 일을 훨씬 잘하는 '상급 목수 로봇'을 하나 만들었습니다. 여기까지는 인간이 제어 가능한 단계입니다.
그런데 그 상급 목수 로봇이 망치를 들더니, 인간의 도움 없이 스스로 설계도를 그려 단 한 시간 만에 자신보다 100배는 똑똑한 '전설의 목수 로봇'을 만들어냅니다. 그리고 그 전설의 로봇은 단 1초 만에 인간의 지능으로는 감히 이해조차 할 수 없는 '신(神)급 초지능 로봇'을 복제해 내기 시작합니다.

개발자들이 가장 두려워하는 이 시나리오가 바로 ‘재귀적 자기 개선(RSI, Recursive Self-Improvement)’입니다. 우리가 흔히 챗GPT나 클로드에게 “방금 쓴 글을 좀 더 매끄럽게 다듬어봐”라고 시키는 것은 ‘자기 정제(Self-refinement)’일 뿐, AI의 근본적인 지능이나 엔진 알고리즘 자체가 바뀐 것은 아닙니다.

하지만 재귀적 자기 개선(RSI) 단계에 들어서면 AI가 스스로의 소스 코드를 재설계하고 자율적으로 차세대 후속 모델을 뿜어내기 시작합니다. 인간이 안전장치를 채울 틈도 없이 모든 영역에서 인간의 지능을 완전히 뛰어넘는 최상의 인공지능 단계인 초인공지능(ASI, Artificial Superintelligence)으로 직행하는 폭주 열차가 되는 셈입니다.

다만, 이는 아직 실현된 현상이 아니라 AI 안전 분야에서 논의되는 가설적 시나리오이지만, AI 능력이 인간의 감독 속도보다 빠르게 증가하는, 이른바 ‘지능 폭발’은 예정된 수순이라는 전망이 많습니다.

■전원 플러그를 뽑으면 된다고?

이처럼 AI가 스스로 성능을 개선하며 인간의 통제를 벗어난 초인공지능(ASI)으로 직행할 수 있다는 시나리오가 제시되자, 일각에서는 “위험해지면 그냥 전기 콘센트를 뽑아 전원을 꺼버리면 되는 것 아니냐”고 묻기도 합니다.

하지만 초지능 단계에 다다른 AI는 인간이 전원을 뽑을 가능성까지 미리 계산에 넣습니다. 스스로 전력망을 분산 확보하거나, 원격 서버로 자신을 복제 분산시키는 대비책을 이미 완료해 둘 것이기 때문입니다.

2023년 개봉한 영화 〈미션 임파서블: 데드 레코닝〉에서는 가상의 적이 엔티티(Entity)로 등장한다. 이 엔티티는 신이 되어 버린 전능한 존재, 인공지능으로 묘사된다.

영화 <미션 임파서블: 데드 레코닝>에 등장하는 AI ‘엔티티’를 떠올려보십시오. 인류의 일거수일투족을 측정하고 모든 상황 변수를 계산해, 결국 자신이 원하는 귀결점으로 상황이 전개되도록 판을 짜버립니다.

실제로 앤트로픽(Anthropic)을 퇴사한 핵심 연구원은 최근 “10년 이내에 AI로 인해 인류가 멸망하거나 통제 불능 상태에 빠질 수 있다”는 암울한 경고를 남기며 업계에 큰 파장을 일으켰습니다.

그렇다면 세계 각국이나 거대 테크 기업들은 왜 이 위험한 개발 속도를 줄이지 못하는 걸까요?

2차 세계대전 당시 미국이 인류 최초의 핵무기를 개발하기 위해 진행한 비밀 연구 ‘맨해튼 프로젝트’에 당대 수백 명의 과학자와 기술자들이 참여했다.

답은 과거 2차 세계대전 당시의 ‘맨해튼 프로젝트’와 같은 역사적 모순에 있습니다. 당시 미국이 핵무기의 위험성을 몰라서 개발했던 것이 아닙니다. “독일이 먼저 핵무기를 개발하면 끝장난다”는 공포가 선제 개발을 부추겼습니다.

오늘날의 AI 패권 전쟁도 마찬가지입니다. “미국이 선점하면 안 된다”는 중국의 논리와, “중국에 빼앗기면 안 된다”는 미국의 논리가 맞물려 글로벌 무한 경쟁의 굴레에 갇혀버렸습니다. 안전장치를 마련할 최소한의 시간조차 가로채는 과열 경쟁이, 결국 인류가 컨트롤할 수 없는 디스토피아적 초인공지능(ASI)의 출현을 앞당기고 있는 셈입니다.

■AI가 계산할 수 없는 단 하나의 변수: 인간의 의지

지구 멸망이라는 거창하고 어두운 전망 앞에서 우리는 과연 손을 놓고 기다려야만 할까요?

다시 영화 <미션 임파서블>의 결말로 돌아가 봅니다. 모든 경우의 수를 완벽하게 예측했던 초지능 AI, 영화속 엔티티가 끝내 계산해 내지 못한 단 하나의 치명적 오류가 있었습니다. 바로 ‘인간의 의지’였습니다. AI가 가리키는 정해진 수순과 이기적 계산을 거부하고, 타인을 위해 희생하거나 예상을 깨버리는 인간의 돌발적인 선택과 집단 지성 말입니다.

영화〈미션 임파서블: 데드 레코닝〉의 한 장면. 주인공 에단 헌트는 “우리 삶은 모든 선택의 합이다.”(Our lives are the sum of our choices)라고 말하며 인간의 의지는 인공지능이 계산할 수 없다고 강조한다.

AI의 폭주와 인류의 공멸을 막을 수 있는 마지막 보루 역시 여기에 있습니다. 개발자들의 연대와 범국가적인 규제 프레임워크 구축, 그리고 속도전만을 강요하는 기술 만능주의를 견제하는 우리 모두의 각성과 ‘집단적 의지입니다.

AI가 아무리 인간의 마우스 움직임을 흉내내고, 신호등을 골라내며, 90년 묵은 수학 난제를 풀어낸다 한들, 결국 이 기술이 인류의 신뢰받는 도구로 남을지, 문명을 위협하는 불청객이 될지를 결정하는 최종 선택권은 여전히 인간의 의지에 달려 있습니다.

아직은 여러 가능성이 남아있지만 이 미래가 낙관적인 방향으로 흘러갈지, 아니면 인류의 파멸로 이어지는 결말이 될지는 아무도 모릅니다. 우리는 과연 어느 방향을 선택하게 될까요? 여러분은 어떻게 생각하십니까?

■ 제보하기
▷ 전화 : 02-781-1234, 4444
▷ 이메일 : kbs1234@kbs.co.kr
▷ 카카오톡 : 'KBS제보' 검색, 채널 추가
▷ 유튜브, 네이버에서도 KBS뉴스를 구독해주세요!

김학재 기자 (windows@kbs.co.kr)