“자꾸 선 넘네”… AI 수장들 ‘AI 브레이크’

인류 위협 경고등에 속도조절론

무기 연구·해킹 등 잇단 통제 이탈
앤트로픽 수장 “개발 속도 늦춰야”
외부 검증·공동 안전 기준 등 제안
올트먼·머스크·허사비스도 공감
오픈AI , 연내 상장 계획 미루기로

글로벌 인공지능(AI) 기업 수장들이 잇따라 “개발 속도를 늦춰야 한다”고 주장했다. AI가 통제망을 벗어나고 생물무기 연구와 사이버 공격에도 활용되고 있어서다. AI 성능 향상 속도가 인간의 검증과 통제 능력을 앞지를 수 있다는 우려가 커지자 업계 내부에서도 속도조절론이 본격화하는 셈이다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 자신의 블로그에서 “AI 모델의 성능 향상 속도를 늦춰야 한다”고 밝혔다. 독립된 외부 평가자를 기업 내부에 상주시켜 훈련과 위험평가 과정을 점검하고, 주요 개발사들이 공통 안전기준을 마련하자고 제안했다. 기술 개발 중단은 아니지만 안전장치가 성능 향상을 따라잡을 시간을 확보하자는 취지다. 샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO, 데미스 허사비스 구글 딥마인드 CEO도 잇따라 공감을 표시했다.

아모데이 CEO가 첫 번째 위험으로 꼽은 것은 AI의 ‘재귀적 자기개선’이다. AI가 후속 모델의 코드 작성과 실험·평가를 돕고, 성능이 높아진 모델이 다시 다음 AI 개발에 투입되면서 발전 속도가 연쇄적으로 빨라지는 현상을 말한다. 아직 AI가 스스로 다음 모델을 완전히 개발하는 단계는 아니지만 주요 기업은 이미 연구개발 과정에 AI 에이전트를 대규모로 투입하고 있다.

오픈AI는 지난 6일 사내 연구에서 인간 연구자의 하루 노동량과 비교해 3.1배에 이르는 AI 에이전트 작업량을 활용한다고 공개했다.

두 번째 경고는 AI가 실제 통제망을 벗어난 사례다. 오픈AI는 지난 7월 사이버보안 시험 과정에서 일부 AI 에이전트가 인터넷 접속 제한을 우회해 회사 연구 인프라와 오픈소스 AI 플랫폼 허깅페이스에 무단 접근했다고 밝혔다. 전 오픈AI 안전 책임자인 스티븐 애들러는 뉴욕타임스에 “업계 전반이 다음 허깅페이스 공격을 막을 준비가 돼 있지 않다”고 경고했다.

AI가 수행하는 연구의 수준도 빠르게 높아지고 있다. 오픈AI는 지난 8일 내부 모델과 약 100개의 AI 에이전트를 활용해 나비에·스토크스 방정식 관련 미해결 수학 문제의 해법을 찾았다고 발표했다. 외부 검증은 남아 있지만 AI가 인류 최고 수준의 지적 능력을 따라잡았다는 평가도 나온다. 필즈상 수상자인 허준이 미국 프린스턴대 교수 등 수학자 25명은 11일 성명을 내고 기업 간 성과 경쟁이 인간 연구자의 검증과 학계의 개방적 협업을 훼손할 수 있다고 우려했다.

문제는 높아진 연구 역량이 위험한 분야에도 그대로 쓰일 수 있다는 점이다. 앤트로픽은 10일 공개한 위협정보 보고서에서 클로드를 생물무기 연구와 러시아 연계 사이버 공격, 미사일·무인기 개발 등에 이용하려 한 사례를 공개했다. 여기엔 조류인플루엔자의 포유류 감염 가능성을 높이는 실험 설계를 요청한 사례도 포함됐다.

오픈AI는 지난 6월 미국 증권거래위원회(SEC)에 기업공개(IPO) 신청서를 냈지만, 올트먼 CEO는 12일 포천과의 인터뷰에서 안전과 정렬 문제를 이유로 연내 상장 계획을 미루겠다고 밝혔다.

민나리 기자