“AI가 인류를 죽일 수 있다”…앤트로픽 직원의 고백

"우리는 정말로 AI가 모든 인류를 죽일 수 있다고 믿습니다."

미국 인공지능 기업 앤트로픽에서 안전 연구를 이끄는 에번 허빙어가 소셜미디어 엑스(X)에 쓴 문장입니다.

그는 그 일이 앞으로 10년 안에 일어날 확률을 개인적으로 10% 이상으로 본다고 덧붙였습니다. 회사를 그만둔 사람이 아니라, 지금도 그 회사에 다니는 사람의 말입니다.

발단은 사표를 낸 다른 직원이었습니다.

같은 회사 연구원 제이컵 콕슨이 지난 8일 사표를 내면서, 앤트로픽과 오픈AI 어느 쪽도 책임 있게 행동하지 않은 채 스스로 성능을 높여가는 '초지능'을 향해 달리며 인류의 목숨을 걸고 도박하고 있다고 썼습니다.

그는 오픈AI에서 대부분을 보내고 지난 7월 앤트로픽으로 옮긴 연구자로, 두 회사에서 3년 동안 AI가 세상의 지식을 통째로 익히는 초기 학습 단계를 연구해 왔습니다.

다만 그가 말한 위험은 지금 나온 AI가 아니라 사람 개입 없이 스스로를 개선하는 미래의 AI였습니다. 이 글은 조회수 6천만 회를 넘겼습니다.

에반 허빙어, 제이콥 콕슨 X 게시글

회사가 반박에 나설 법한 상황이었습니다. 그런데 정반대로 흘러갔습니다.

■ 'AI 통제 책임자'가 "인류 멸망" 언급

허빙어가 하는 '정렬' 연구는 AI가 인간이 원하는 방향에서 벗어나지 않게 붙잡아 두는 일입니다. 회사에서 안전을 책임지는 자리입니다. 그런 그가 콕슨의 판단이 맞다고 공개적으로 인정했습니다.

회사가 최선을 다하고 있다고 믿지만 초지능 문제를 풀 방법은 아직 없다고도 했습니다. 다만 이 확률은 회사의 공식 입장이 아니라 그의 개인적 판단입니다.

미 의회는 곧바로 규제를 입에 올렸습니다. 이미 AI 규제 법안을 쓰고 있던 존 슌 상원 원내대표와 민주당 에이미 클로버샤 의원에게 압박이 쏠렸습니다. 오픈AI는 미국에 의무적인 국가 AI 안전 기준을 도입하자고 밝혔습니다. 알아서 잘하겠다던 회사가 법으로 묶어달라고 한 겁니다.

■ 미 국방부 "잘 쓴 트윗 한 편"

같은 날 워싱턴의 방위산업 행사에서는 정반대 이야기가 나왔습니다. 미 국방부의 기술 총책임자인 에밀 마이클 차관은 " 데이터센터에 대한 두려움, 변화에 대한 두려움 같은 것들이 잘 쓰인 트윗 한 편에 뭉쳐 있을 뿐"이라고 일축했습니다.

미국인 40%가 일자리를 잃는다거나 인류가 멸망한다는 식의 "'되풀이되는 종말론'에 휩쓸리기는 쉽다"고도 했습니다.

다만 마이클 차관은 이 문제를 멀리서 지켜보는 사람이 아닙니다. 국방부는 지금 앤트로픽과 법정에서 다투고 있습니다.

■ 법원 "국방부가 틀렸다"

앤트로픽은 자사 AI가 사람의 개입 없이 스스로 공격하는 무기나, 미국인을 대상으로 한 대규모 감시에 쓰이지 않도록 하는 안전장치를 그대로 두겠다고 버텼습니다. 국방부는 제한 없이 쓰게 해달라고 요구했고 협상은 깨졌습니다.

국방부는 지난 2월 앤트로픽을 '공급망 위험' 기업으로 지정했습니다. 협력업체까지 이 회사 제품을 못 쓰게 막는 조치로, 원래 적성국과 연결된 기업에나 붙이던 딱지였습니다. 미국 기업에 적용된 건 처음이었습니다.

회사는 3월에 소송을 냈고, 캘리포니아 북부지법 리타 린 판사는 8월 27일, 이 지정이 위법이라며 취소를 명령했습니다. 국가안보를 위협한다는 증거가 빈약하고, 진짜 이유는 정부를 비판한 데 대한 보복으로 보인다는 겁니다.

다만 판결이 국방부에 이 회사 제품을 쓰라고 강제하는 건 아닙니다. 어떤 AI를 살지는 국방부가 정할 문제라는 점은 판사도 인정했습니다. 마이클 차관은 기밀 업무에 쓰던 AI의 90%를 이미 다른 회사 제품으로 바꿨고, 이달 말까지 나머지도 옮긴다고 밝혔습니다.

■ 앤트로픽도 '선 넘었다' 인정

콕슨이 사표를 낸 다음 날 앤트로픽은 보고서를 내놨습니다. 자사 AI를 생물무기 연구나 사이버 공격, 여론 조작에 쓰려던 시도를 적발해 막았다는 내용입니다.

눈에 띄는 건 회사 스스로의 인정이었습니다. 지난해 모델들은 위험한 생물학 연구를 도울 수준에 한참 못 미쳤지만, 지금 모델은 더 이상 같은 보장을 할 수 없다고 밝혔습니다. 그래서 최신 모델에는 관련 질문을 폭넓게 막는 장치를 새로 넣었다고 했습니다.

다만 발표 시점이 자사 연구원의 폭로 바로 다음 날이었고, 회사는 올가을 증시 상장을 준비하고 있습니다. 외부 기관이 검증한 게 아니라 스스로 조사해 내놓은 자료이기도 합니다.

보안 전문가 브루스 슈나이어는 앤트로픽의 이런 방식을 잘 짜인 홍보 전략이라고 비판한 바 있습니다. 위험하다는 말이 곧 성능이 뛰어나다는 광고가 되기 때문입니다. 다만 홍보든 아니든, 이 위험을 법으로 다룰 방법이 있느냐는 별개의 질문입니다.

■ 아직 아무도 못 푼 문제

그 질문에 답하려는 시도가 이번 주 미국에서 나왔습니다. 버니 샌더스 상원의원 등은 지난 4일 초지능의 개발과 배치 자체를 금지하는 법안을 냈습니다.

안전 규칙이 마련될 때까지 첨단 AI 개발을 멈추고, 이를 감시할 정부 기관을 새로 만들자는 내용입니다. 처벌 수위는 핵무기 관련 위반에 준하게 설계됐습니다.

영국에서도 초당적 의원 100명 이상이 초지능 개발을 아예 금지하자는 입법을 정부에 요구하고 있습니다.

다만 실제로 작동할지는 별개 문제입니다. AI가 사람의 통제를 벗어났는지 판정할 기준부터 없습니다.

캘리포니아주는 대신 AI 기업에 위험 평가서 공개를 의무화하는 법을 만들었지만, 그 위험을 무엇으로 어떻게 판정할지는 이 법에도 명확한 기준이 없습니다.

심지어 앤트로픽의 최고경영자조차 자사 시스템이 작동하는 방식의 3%밖에 이해하지 못한다고 말한 적이 있습니다.

만드는 사람도 다 모르는 것을, 법이 무엇을 근거로 판단할지는 여전히 풀리지 않은 질문입니다.

■ 제보하기
▷ 전화 : 02-781-1234, 4444
▷ 이메일 : kbs1234@kbs.co.kr
▷ 카카오톡 : 'KBS제보' 검색, 채널 추가
▷ 유튜브, 네이버에서도 KBS뉴스를 구독해주세요!

임종빈 기자 (chef@kbs.co.kr)