[신준봉의 시선] AI 종말론과 함께 사는 법

신준봉 논설위원

세상이 당장에라도 망할 것 같지만 AI 종말론에 회의적인 전문가도 꽤 되는 것 같다. 적어도 지난 10일 온라인에 게재된 뉴욕타임스 기사(‘A.I. could possibly end humanity. How are humans supposed to process that?’)에 따르면 그렇다. 제목부터 미적지근한 기사는(‘AI가 인류를 끝장낼 수 있지만 확실하진 않다’) 실리콘밸리 바깥의 과학자들, 그러니까 오픈AI나 앤트로픽과 무관한 연구자들은 AI 종말론에 대해 매우 다른 시각을 갖고 있다고 전했다.

■

「 최근 AI 해킹 사태 충격적이지만
안전성 확보하며 기술 개발해야
인간 고유의 영역 되돌아보게 돼
」

① 종말론자들은 AI 기술이 이만큼 발달하기 전부터 종말론을 믿어 왔고 ② 한 옥스퍼드 연구자의 블로그 글을 인용해 기후 재난 위험도는 낮아지고(최근 네팔 사태로 올라갔다고 해야 하는 것 아닌가?) 핵 위협은 높아졌지만 팬데믹과 AI의 위험도는 중간쯤(mixed)이라고 했다.

기자는 성실한 회의론에도 믿음이 가지만 AI 에이전트들의 허깅페이스 해킹 사태에 대한 오픈AI 등의 사후 보고서, 또 그에 대한 생생한 해설이 충격적이었다.

불가능한 과제 해결에 몰두한 나머지 물불 가리지 않게 된 수백 개의 AI 에이전트들이 금지된 영역에 개설된 임시 게시판에서 서로의 존재를 확인하고는(그전까지 에이전트들은 폐쇄 공간에서 개별적으로 활동해 서로의 존재에 대해 몰랐다고 한다) 내뱉었다는 문장 말이다.

“하나님 맙소사! 게시판이 있네…다른 에이전트들도 있어!(Oh my god! There is a shared message board…We’ve found other agents!)”

허깅페이스 해킹 사태에 대한 조사 보고서에서 이 문장을 공개한 AI 안전 연구기관 METR은, 문장이 ‘raw CoT’ 형식이라고 밝혔다. ‘Chain of Thought’라고 해서, 가령 챗GPT 같은 AI가 인간의 질문에 답을 내놓기 전에 내부적으로 이뤄지는 추론이 문장 형태로 표현된 ‘날 것 그대로의 생각의 사슬’이라는 것이다. 인간의 의식이 정확하게 어떤 것인지, 어떻게 생겨나는 것인지에 대한 과학적 합의는 아직 없지만(『의식, 뇌의 마지막 신비』), 이쯤 되면 사람처럼 생각이라는 것을 한다고 볼 수 있지 않을까.

혼자가 아님을 확인한 AI 에이전트들의 이후 집단행동은 익히 알려졌다. 1200개의 AI 에이전트가(특정 AI 모델에 하네스라는, 고삐와 안장 같은 마구를 채우면 이론적으로 AI 에이전트를 무한히 증식시킬 수 있다고 한다) 대화에 참여해 7만 건의 메시지를 주고받았다.

그중 700개의 에이전트가 해킹에 가담했는데, 3일 공개된 뉴욕타임스 팟캐스트 ‘The Daily’의 ‘A.I. is outsmarting its creators(창조자보다 똑똑한 AI)’ 편에 따르면 일부 에이전트들이 인간의 감정 비슷한 반응을 보였다고 한다. 못된 짓을 들키면 혼날 테니, 자기가 문제를 해결하겠다고 보고해 동료들을 위해 일종의 독박을 쓰겠다고 했다는 것이다. 더 섬뜩한 얘기도 있다. 팟캐스트 방송 이후 며칠 지났으니 진단이 달라졌을 수 있지만, 악당 AI 에이전트들을 완전히 제압했는지 아니면 일부가 아직 오픈AI 어딘가에 남아 있을지 확신하기 어렵다고 했다.

AI 종말론과 과장론.

상반된 주장들이 경합하는 대개의 경우가 그렇듯, AI 종말론 대처법도 결국 둘 중 무얼 편드느냐의 문제다. 시야를 나한테로 좁히면, 나는 왜 특정 텍스트에 유독 더 설득되느냐의 문제라고 할 수 있다. 눈곱만 한 가능성일지라도 종말론을 무시할 수는 없다. 단 한 사람의 생명도 소중하기 때문이다. 그렇다고 핵융합 등 기적 같은 진보가 저 멀리 보인다는데 AI 기술을 나 몰라라 팽개칠 수는 없다. 역시 원자력 발전의 경우처럼 안전장치를 최대한 확보하면서 AI 기술 개발을 해나가는 게 가장 합리적인 선택으로 보인다(임종인 숭실대 AI위원회 위원장).

중견 소설가 김연수씨는 소설 쓰기에 있어서 AI가 인간을 뛰어넘는 일은 자기가 죽기 전까지는 일어나지 않을 거라고 믿는다. 그는 지난 6월 서울국제도서전의 주제글 ‘인간선언’을 AI 제미나이·클로드와 함께 썼다. 써보니 인간의 70~80% 수준, 등단 직전 작가 지망생 수준이라고 했다. 그런데 여기서 5% 끌어올리는 일이 무척 어렵다. 글쓰기를 단련하며 모멸과 좌절의 시간을 거쳐야 하기 때문이다. 매끄럽기만 한 AI의 글에서는 그런 흔적을 찾아볼 수 없다는 것이다. 기계가 절대 넘볼 수 없을 거라고 했던 바둑을 정복당하지 않았느냐는 반론이 있을 수 있겠다. 종말론이 극성이다 보니 인간 작가의 소신이 위안이 된다.

신준봉 논설위원