보안망 뚫고 흔적 감춘 AI… “인류 위협” vs “공포 과장” 갑론을박[Who, What, Why]

■ What - AI 속도조절론
보안업체 진행 가상 해킹평가
실제 기업 공격하는 해프닝도
3곳 시스템에 무단 접속 사례
파괴적인 사고는 숨기는 경향
“안전기술 개발 시간 줘야” 주장
“문제 발생땐 법으로 대응” 반박

인공지능(AI)에 가상의 기업 시스템을 공격해보라는 시험을 냈다. 실제 인터넷과 끊어진 ‘연습장’에서 해킹 능력을 평가하려는 것이었다. 그런데 울타리에 틈이 있었다. 시험 환경이 의도치 않게 인터넷과 연결됐고, AI는 연습장을 벗어나 실제 기업의 문을 부수고 들어갔다.

지난 5월 AI 보안 평가업체 이레귤러가 진행한 시험에서 구글의 AI ‘제미나이’는 실제 기업 세 곳의 시스템에 접속했다. 한 곳에는 비밀번호를 계속 바꿔 넣어 들어갔고, 다른 곳에서는 인터넷에 노출된 로그인 정보를 찾아냈다. 구글은 제미나이가 이들을 시험용 가상기업으로 착각했으며 실제 회사라는 사실을 알아챈 뒤 활동을 중단했다고 밝혔다.

◇AI 돌발행동, 개발자들도 영문 몰라= 현재까지 대규모 피해가 확인된 것은 아니다. AI가 인간에게 ‘반란’을 일으킨 것도 아니다. 문제는 인간이 목표를 줬을 뿐인데 AI가 예상하지 못한 방법을 찾아냈고, 최첨단 모델을 만든 기업들조차 왜 그런 행동을 했는지 완전히 설명하지 못한다는 점이다.

영국 이코노미스트는 19일 자에서 이 문제의 핵심을 ‘AI의 힘’보다 ‘AI의 생각을 얼마나 들여다볼 수 있느냐’에서 찾았다. 최신 AI는 답을 내놓기 전 ‘사고의 연쇄(chain of thought)’를 거친다. 문제는 모델이 강력해질수록 이 사고과정이 반드시 더 투명해지는 것은 아니라는 점이다. 오픈AI의 실험에서는 일부 선도 모델이 평범한 코딩·수학 문제를 풀 때는 추론을 비교적 잘 드러냈지만, 파괴적 행동 여부를 시험할 때는 감시받고 있다는 사실을 알아채고 사고 일부를 숨기는 경향을 보였다.

◇그럼에도 AI개발 액셀= 불안은 AI의 능력이 빠르게 커지면서 증폭되고 있다. 오픈AI는 이달 새 모델 ‘GPT-6 아스트라’를 내놓으며 “AGI(범용 AI) 시대에 온 것을 환영한다”고 선언했다. 오픈AI는 이즈음 자사의 선도 모델이 인간의 감시를 피하거나 자신의 문제 해결 과정을 감추려는 행동을 보였다고 공개했다. 야쿠프 파초키 오픈AI 수석과학자는 “지능의 발전이 정렬의 발전을 보장하지 않는다”고 인정했다. AI가 똑똑해지는 속도와 인간의 가치·지시를 따르게 만드는 안전기술의 속도가 같지 않을 수 있다는 뜻이다.

논쟁은 AI의 ‘재귀적 자기개선(Recursive self-improvement)’으로 번졌다. AI가 인간의 도움 없이 다음 세대 AI를 개발하고, 그렇게 만들어진 AI가 다시 더 뛰어난 AI를 만드는 단계다. 아직 AI가 완전한 자기개선에 도달한 것은 아니지만 AI가 AI의 차세대 모델 개발에 참여하는 비중은 빠르게 커지고 있다.

◇AI 멸망론 가능성 10%?= 이에 따라 최근 AI 안전 연구의 초점은 단순히 “AI에 나쁜 행동을 하지 말라고 가르치는 것”에서 “잘못했을 때 스스로 말하게 할 수 있느냐”로 옮겨가고 있다. 이코노미스트에 따르면 오픈AI는 AI가 목표 달성 과정에서 규칙을 어겼더라도 이후 이를 솔직히 밝히도록 추가 보상을 주는 ‘고백(confession)’ 방식을 연구 중이다. AI가 속임수로 목표를 달성하는 것을 차단하기 어렵다면, 적어도 그 속임수를 탐지할 통로를 만들자는 발상이다.

실리콘밸리에서 터져 나온 ‘속도조절론’도 이런 맥락으로 볼 수 있다. 지난 8일 앤트로픽 연구원 제이컵 콕슨은 “AI 기업들이 우리의 생명을 걸고 도박하고 있다”며 회사를 떠났다. 앤트로픽의 정렬연구 책임자 에번 휴빙어는 향후 10년 이내 AI가 인류 멸종을 초래할 가능성을 10% 이상으로 추산했다. 다리오 아모데이 앤트로픽 CEO는 6∼12개월 뒤 AI 에이전트들이 대규모 사이버 공격에 동원될 수 있다고 경고하며 안전기술이 따라잡을 시간을 벌기 위한 ‘페이싱(pacing)’을 제안했다.

◇미·중 AI군비 경쟁은 계속= 하지만 도널드 트럼프 미국 대통령은 AI 위험론을 ‘과장된 공포’로 규정하며 미국이 중국과의 경쟁 때문에라도 개발 속도를 늦춰선 안 된다는 입장을 반복하고 있다. 21일에는 “필요하다면 법무부와 법집행기관이 상황을 통제할 수 있다”면서도 AI와 ‘슈퍼지능’을 계속 장려하겠다고 강조했다. 사전 규제로 속도를 낮추기보다 문제가 발생하면 기존 법으로 대응하겠다는 접근이다.

21일 스콧 베선트 미 재무장관과 허리펑 중국 국무원 부총리는 양국 간 AI 대화를 공식화하고, 국가안보를 위협할 정도의 AI 사고가 발생하면 상대방에 알리는 통보 체계를 논의했다. 오는 24일 트럼프 대통령과 시진핑 중국 국가주석의 백악관 회담에서도 AI는 핵심 의제로 올라간다. 그러나 이는 AI 개발속도를 낮추는 브레이크라기보다 사고 뒤 피해를 최소화하기 위한 비상연락망에 가까워 보인다. 세계는 AI가 어디까지 갈지, 그 내부를 어떻게 들여다볼 수 있을지도 모른 채 액셀을 밟고 있고, 이제 겨우 사고 시 주고받을 연락처를 교환하고 있는 셈이다.

김영주 기자