아모데이 앤스로픽 CEO, “AI에 의한 생물학적 위험 곧 뒤따를 것” 경고

“AI 다루는 국제 연합 필요해” 주장

다리오 아모데이 앤스로픽 최고경영자(CEO). /연합뉴스

“(인공지능에 의한) 생물학적 위험이 곧 뒤따를 것이며, 자율 AI에 의한 심각한 위험도 머지않아 나타날 것이다.”

다리오 아모데이 앤스로픽 최고경영자(CEO)가 10일(현지 시각) AI 위험성과 구속력 있는 규제의 필요성을 담은 에세이 ‘AI 발전에 대응하기 위한 정책 제언’을 공개했다. 자신이 직접 작성한 것으로 그동안 지속적으로 주장해 온 인공지능(AI)의 책임 있는 개발과 규제를 강조한 글이다.

이 글에서 아모데이 CEO는 앤스로픽이 최근 개발한 첨단 AI인 ‘미토스 프리뷰’가 매우 심각한 사이버 보안 위험을 초래하고 금융 부문과 중요 기반 시설, 국가 안보를 파괴할 가능성이 있다고 보고 AI 속도 조절이 필요하다고 주장했다. 가장 최첨단 AI 모델을 개발한 업체가 역설적으로 AI의 위험성과 규제의 필요성을 주장하는 것이다.

이 때문에 테크 업계 일각에선 “앤스로픽이 AI 개발 주도권을 쥐고 후발 주자들이 따라잡지 못하도록 규제하자고 주장하는 모양새로 비친다”고 비판하는 목소리도 나온다. AI 위험성을 지속적으로 주장하는 것이 일종의 ‘마케팅’일 수 있다는 분석이다.

하지만 앤스로픽과 아모데이 CEO는 “AI의 위험성은 실재하며 이를 대비해야 한다”고 주장한다. 아모데이 CEO는 “AI의 잠재력만을 바라보던 사람들에겐 AI가 평범한 기술로 보였고, 적절한 정책을 설계하기 어려웠다”며 “하지만 지난 몇 달 동안 AI의 엄청난 힘과 위험성에 대한 증거를 부인할 수 없게 됐다. (미토스 프리뷰 같은 첨단) AI 모델이 이제 전 세계적, 국가적 전략적 중요성을 지닌 도구라는 사실을 명백히 입증했다”고 했다.

그는 AI가 앞으로 사회에 혼란을 초래할 가능성이 있다고 봤다. 그는 “미토스급 모델이 제기하는 사이버 위험은 우리가 직면해야 할 마지막 위험이 아닐 것”이라며 “생물학적 위험이 곧 뒤따르고, 자율적으로 행동하는 AI로 인한 위험도 머지않았다”고 했다.

다리오 아모데이 앤스로픽 CEO가 작성한 ‘AI 발전에 대응하기 위한 정책 제언'. /인터넷 캡처

◇“AI로 초고속 성장과 초불평등 구조 고착화”

아모데이 CEO는 AI를 통해 경제 성장을 촉진할 수 있다고 했다. 하지만 이에 따라 혼란이 더 가속화될 수 있다고 주장했다. 그는 “AI가 더욱 발전된 AI를 스스로 구축하는 반복적인 능력은 견고한 경제 성장을 더욱 가속화하고 인간의 인지 능력을 더 광범위하게 대체할 수 있다”며 “하지만 노동 시장에 훨씬 더 큰 혼란을 야기하고, 잠재적으로 더 오래 지속되는 혼란을 초래할 수 있다”고 했다. 결국 AI로 인해 초고속 성장과 초불평등이라는 구조가 고착화될 수 있다는 것이다.

그는 AI를 ‘데이터센터에 모인 천재들의 나라’에 비유했다. 가상의 천재 1억명이 사는 나라에서 1000만명은 군사 전략에, 1000만명은 드론 제조에, 1000만명은 무기 연구·개발에, 1000만명은 정보 수집과 분석에, 1000만명은 일반 과학 발전에 투입되며 AI가 국가의 군사력과 경제력을 좌우하는 핵심 동력이 될 가능성이 높다는 것이다. 그는 “강력한 AI를 보유한 국가가 그렇지 못한 국가, AI 기술에서 3년 정도 뒤처진 국가와 맞붙는다면 이는 마치 제2차 세계대전 당시 미 해병대가 중세 검객 부대와 맞서는 것과 같은 상황이 될 수 있다”고 했다.

아모데이 CEO는 AI의 급속한 발전 속도에 비해 이에 대한 규제나 정책은 최소 1년 이상 뒤처져 있다고 했다. 그는 “투명성을 넘어 더욱 심각하고 구속력 있는 AI 규제가 필요한 시점”이라며 “어쩌면 비교적 가까운 미래에, 가장 강력한 AI 시스템이 무기화 가능한 핵물질처럼 보이고, 인류 전체에 대한 위협으로 인식되는 시점이 올지도 모른다”고 했다. 그는 “비행기와 같이 첨단 AI 모델은 기술 테스트와 감사를 거쳐야 하며, 높은 안전 기준을 충족하지 못할 경우 공공 안전에 위협이 되므로 출시를 차단하거나 취소해야 한다”고 했다.

◇AI 다루는 국제 연합체 필요

아모데이 CEO는 AI가 독재 정권에 악용될 가능성도 언급했다. “잘못된 손에 들어간 강력한 AI는 궁극적인 독재 도구가 될 수 있고 현재의 법과 헌법적 보호 장치는 이런 위협에 충분히 대응할 수 없다”는 것이다. 무인 드론 군대, AI 감시 체계 등이 시민의 생명권과 자유를 빼앗을 수 있다는 주장이다. 그는 AI 개발과 활용 권한을 정부와 기업이 공유하고 서로 견제하는 장치가 필요하다고 했다.

아모데이 CEO는 “머지않아 AI는 너무나 강력한 능력을 갖추게 될 것이므로 정부나 기업 어느 한쪽에 완전히 맡기는 것은 안전하지 않다”며 “각 주체에 대한 견제와 균형 장치가 반드시 필요하다”고 했다. 그는 민주주의 국가들이 공통의 가치에 따라 AI를 구축하는 글로벌 연합을 형성해야 한다고 했다.

UN과 같은 국제 연합을 만들어 AI 정책 아이디어를 국제적으로 조율하고, AI 구축에 필수적인 공급망을 공유하는 체계를 구축하자는 것이다. 아모데이 CEO는 “우리가 이러한 노력을 빨리 시작할수록, AI가 가져다주는 엄청난 혜택을 모두가 더 빨리 누릴 수 있을 것”이라고 했다.