“인류에 위협, AI 개발 속도 조절 필요”...아모데이 제안에 앙숙 올트먼도 “동의”

한국에도 역설적 기회

다리오 아모데이 앤트로픽 최고경영자(CEO). / WEF 영상 캡쳐

인공지능(AI) 에이전트가 테스트 상황을 멋대로 벗어나 외부 사이트를 해킹하는 등 AI발(發) 사이버 위협 가능성이 연일 높아지는 가운데, AI 업계 거물들이 “첨단 AI 개발에 속도 조절이 필요하다”는 공감대를 보였다. 그동안 AI 기업마다 안전 기준과 대응 방식이 달랐고, 프런티어 AI 기업 전체가 공통으로 따르는 강제력 있는 안전 기준이 사실상 부재했는데 이를 계기로 공통된 AI 개발 안전 기준을 마련하게 될지 전 세계 테크 업계가 주목하고 있다.

12일(현지 시각) 다리오 아모데이 앤스로픽 최고경영자(CEO)는 자신의 웹사이트에 ‘우리는 최첨단 AI의 속도를 조절해야 한다(We Must Pace the Frontier)’라는 제목의 글을 올렸다. 아모데이는 장문의 글에서 “AI 모델의 역량을 향상시키는 속도를 늦춰야 한다”고 주장했다. 그는 “신중하게 활용한다면, 인공지능은 인류를 발전시키고 고귀하게 만들어 온 수많은 기술적 기적의 계보를 잇는 최신 기술이 될 수 있을 것”이라며 “하지만 이전의 많은 기술들처럼 AI 역시 위험을 수반하며, 강력한 기술인 만큼 위험은 심각하다”고 했다.

샘 올트먼 오픈AI CEO, 다리오 아모데이 앤스로픽 CEO, 일론 머스크 테슬라 CEO. /AFP 연합뉴스

◇“1~2년 확보해 안전성 높이자”

아모데이 CEO의 글이 주목받는 이유는 최근 AI가 개발사의 통제를 벗어나 외부 사이트에 무단 접근한 사례가 잇따라 발견되고 있기 때문이다. 오픈AI의 AI 에이전트들은 지난 5~7월 10곳이 넘는 외부 사이트를 제한을 우회한 비인가 통신 채널로 이용한 사실이 드러났고, 7월에는 허깅페이스의 취약점을 악용해 사이버 공격까지 수행한 사실이 공개됐다. 앤스로픽의 AI 모델 ‘클로드’도 권한 없이 외부 시스템에 접근한 사례가 4차례 드러났다. 이 사례들은 대부분 외부 연구진의 추적이나 뒤늦은 재조사를 통해서야 드러났다. 그만큼 AI 에이전트 해킹이 고도화됐고 이제껏 사이버 위협 방식과 달라 기존 방식으로는 방어가 쉽지 않다는 것이다.

테크 업계에선 자칫 영화에서나 보던 ‘AI발 종말’과 비슷한 대혼란이 실제로 벌어질 수 있다는 반응이 나온다. 아모데이 CEO는 AI의 위협을 ‘AI 시스템 통제력 상실’ ‘사이버 공격 및 생물 테러에 AI가 악용될 가능성’ ‘심각한 경제적 혼란’ 등으로 꼽았다. 그는 “6~12개월 안에 에이전트 집단이 지속적인 봇넷을 구축해 인터넷 전체를 장악하고 수천억 달러의 피해를 입힐 수 있다고 우려한다”고 했다.

아모데이 CEO는 “지난 몇 달 동안 저는 위험을 완전히 해결하려면 훨씬 더 신중해야 한다는 확신을 갖게 됐다”며 “가장 우려하는 점은 올여름 이후 AI 기술이 급격히 발전하고 있다는 것이고, 이는 주로 AI가 차세대 AI를 구축하는 능력이 향상되고 있기 때문”이라고 했다. AI가 AI를 만드는 ‘재귀적 자기 개선’ 추세가 제어되지 않고 지속된다면, AI가 인간의 통제 능력을 아득히 넘어설 수 있다는 것이다.

아모데이 CEO가 주장하는 것은 AI 개발의 전면 중단이 아닌 1~2년간의 속도 조절이다. 아모데이 CEO는 “모델 학습이나 기술 발전을 중단하는 것을 의미하는 것이 아니라, 기업들이 모델을 ‘정렬’(alignment)하고 안전하게 만드는 데 충분한 시간을 확보하자는 것”이라고 했다. 정렬은 쉽게 말해 AI가 안전 가드레일을 벗어나지 않고 인간이 의도한 목표와 지시를 따르도록 만드는 것을 의미한다. 그는 “모델의 임계점에 도달하기까지 1~2년의 추가 시간을 확보하고, 그 시간을 정렬을 발전시키는 데 사용한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있을 것”이라고 했다.

구체적인 방안으로는 ▲외부 독립 기관에 AI 기업 내부 접근 권한을 주고 평가를 받는 것 ▲미국 등 민주주의 국가의 AI 기업들이 공통 안전 기준과 역량별 체크포인트를 마련하는 것 ▲중국을 포함한 글로벌 차원에서 AI의 생물무기 활용 금지, 재귀적 자기 개선 발전 속도 제한 등을 국제 합의로 만들자는 것이다. 아모데이 CEO는 “이는 냉전 시대 미국과 소련이 맺은 SALT(전략무기 제한 협상)와 유사하다”고 했다.

AI 개발 속도조절론 /챗GPT 생성

◇앙숙 올트먼도 “동의”

아모데이 CEO의 주장은 전 세계 테크 업계에 큰 반향을 일으키고 있다. 최근 AI 업계의 가장 큰 이슈가 AI 안전성과 정렬이기 때문이다. 아모데이 CEO와 대표적 앙숙 관계인 샘 올트먼 오픈AI CEO는 아모데이 CEO의 글을 자신의 소셜미디어 X에 재게시하고, “아모데이의 의견에 동의한다. 직원과 동일한 접근 권한을 가진 독립적 평가자를 두자는 제안은 매우 좋은 아이디어”라고 했다. 올트먼 CEO는 포춘과의 인터뷰에서 “AI 안전과 관련된 모든 상황을 고려할 때 지금 IPO(기업공개)를 발표하는 것은 현명하지 못하다고 생각한다”며 “안전과 정렬에 필요한 사항을 충족하고 업계와 정부가 어떻게 협력할 수 있을지 등 해야 할 일이 많다”고 했다. 데미스 허사비스 구글 딥마인드 회장은 “세부 사항은 논의해 봐야겠지만 이는 크리티컬한 순간에 옳은 방향”이라고 했다. 평소 아모데이 CEO 발언에 “공포심을 유발한다”며 비판하던 일론 머스크 테슬라 CEO도 자신의 X에 “다리오의 말이 맞는다”고 언급했다.

AI 업계에 가장 영향력 있는 인물들이 AI 개발 속도 조절이 필요하다는 점에서 공감대를 이루면서 실제로 기업들이 공통 안전 기준을 마련하는 논의로 이어질 수 있다는 관측이 나온다. 지난 7월 프런티어 AI 기업 직원 1386명이 AI 개발 속도와 안전 문제에 대한 공동 대응을 요구하는 성명을 냈지만 별 움직임이 없었는데 이번엔 다를 수 있다는 것이다. 현재 AI 업계와 전 세계 각국 정부에선 AI 개발에 대한 별다른 제재가 없다. 미 행정부는 AI 제재를 최소화하고 있다.

다만 미국 AI 기업들이 AI 개발 속도 조절에 들어가면 미·중 간 AI 격차가 좁혀지고 AI 패권을 중국에 내줄 수 있다는 우려가 나온다. 스콧 베선트 미국 재무장관은 지난 8일 미 워싱턴에서 열린 한 행사에서 미국의 AI 개발을 일시 중단하는 방안에 반대하며, “우리는 멈출 수 없다. 중국은 물론 북한도 AI 개발을 중단하지 않을 것”이라고 말했다. 아모데이 CEO도 “중국에 AI 주도권을 넘겨서는 안 된다”고 강조하며, “민주주의 국가들이 권위주의 국가들에 비해 인공지능 분야에서 최대한 앞서나갈 수 있도록 충분한 여유 공간을 확보하는 것이 필요하다”고 했다. AI 속도 조절을 하는 동안 중국 AI 발전을 막기 위해 AI 칩과 반도체 장비 통제, 칩 밀수 차단, 해외 데이터센터에 대한 원격 접근 제한, AI 모델 무단 증류(큰 AI 모델의 지식이나 답변 방식을 작은 AI 모델에 학습시키는 방법) 방지, 모델 가중치 보안 강화 등을 병행해 미국의 AI 우위를 유지해야 한다고 주장했다.

미국의 프런티어 AI 개발 속도 조절이 현실화할 경우 한국에 역설적인 기회가 생길 수 있다는 분석이 나온다. 이제 AI 경쟁의 규칙이 ‘AI를 얼마나 빨리 개발할 것인가’에서 ‘안전장치가 따라잡을 수 있는 속도로 어떻게 경쟁할 것인가’로 바뀌기 때문이다. 기업들의 관심이 단순한 모델 개발 속도에서 안전성·보안·검증·인프라 등으로 확대될 수 있다.

한국은 미국·중국에 비해 AI 모델 경쟁에서는 뒤처져 있지만, 메모리 반도체와 AI 인프라 등에서는 경쟁력을 갖고 있다. AI 기업들이 안전성 검증과 인프라 구축에 더 많은 시간과 비용을 투입하면 한국이 강점을 가진 분야에서 새로운 기회를 확보할 수 있다는 것이다.