앤트로픽 “AI가 스스로 AI 연구개발 26%” 자기개선 현실화하나

미국 인공지능(AI) 기업 앤트로픽 로고. AFP연합뉴스

앤트로픽의 인공지능(AI) 모델 ‘클로드’가 회사 전체 AI 연구개발(R&D) 업무의 26%를 스스로 주도하는 것으로 나타났다. 지난 2월엔 1% 아래였던 AI의 AI 연구개발 주도 비중이 크게 늘었다.

앤트로픽은 17일(현지시간) AI 연구개발의 얼마나 많은 부분이 AI 자체에 의해 수행되는지, AI 에이전트의 행동이 얼마나 잘 감독되는지, 컴퓨팅 자원이 어떻게 배분되는지 등 3개 지표에 대한 내부 현황 정보를 담은 보고서를 공개했다.

보고서를 공개한 이유에 대해 앤트로픽은 “AI 시스템은 점점 더 강력해지고 있으며 스스로 차세대 버전을 구축하는 데 점점 더 많이 사용되고 있다”며 “우리는 그 속도를 보여주고자 한다”고 설명했다. 일반 시민들이 프론티어 AI 연구소 내부에서 어떻게 AI가 개발되고 있는지를 추적하는 데 도움이 되는 정보를 투명하게 공개한다는 취지다.

보고서에 따르면, 클로드는 지난 8월 기준 앤트로픽 AI 연구개발 업무 중 26%를 주도했다. 이는 인간이 지시만 하면 AI가 업무 대부분을 처음부터 끝까지 수행하고 그 후에 인간이 감독하는 형태를 말한다. 앤트로픽은 이를 ‘자동화 수준(AL·Automation Level)’ 4단계로 규정했다. 인간의 긴밀한 지시 하에 AI가 상당한 양의 작업을 수행하는 ‘협업’ 단계(AL3)까지 합치면 90%가 넘는다.

이는 AI가 스스로 차세대 AI를 개발하면서 발전하는 ‘재귀적 자기개선(RSI·Recursive Self-Improvement)’이 얼마나 가까이에 있는지를 보여준다. 다만 앤트로픽은 AI가 인간의 개입 없이 완전히 자체적으로 작동하는 단계(AL5)는 아직 없다고 했다.

앤트로픽 내부에선 동시에 약 3만개의 AI 에이전트가 연구개발 업무를 수행하고 있다. 에이전트의 행동은 실시간으로 위험 행동을 차단하는 온라인 모니터링, 사후에 위험 행동을 감지하는 오프라인 모니터링으로 감시한다. 지난 8월 한달간 10억건이 넘는 에이전트 의사결정 중 0.002%가 모니터링 시스템에 의해 차단된 것으로 나타났다.

17일(현지시간) 미국 캘리포니아주 샌프란시스코에서 시민들이 ‘인공지능(AI) 경쟁을 중단하라(Stop the AI Race)’ 시위를 열고 있다. AFP연합뉴스

앤트로픽은 “모니터링 결과에 따르면 개별 에이전트가 잘못된 행동을 하는 경우는 드물었지만 수백만 또는 수십억개의 에이전트가 활동하는 상황에서는 드문 사고라도 정기적으로 발생할 수 있다”며 “AI 연구개발에서 AI의 역할이 커질 때 감독체계가 같이 가고 있는지도 살펴봐야 한다”고 했다.

보고서에는 앤트로픽이 지난 7월 13~20일 컴퓨팅 자원을 어떻게 사용했는지도 담겼다. 이 기간 AI 연구개발에 투입된 컴퓨팅 자원의 약 6%가 안전 연구에 할당됐다. AI가 수행한 AI 연구개발에 투입된 컴퓨팅 자원 중에서는 약 12%가 안전 분야에 해당했다.

앤트로픽은 외부의 독립적인 제3자 평가기관을 회사에 들여 내부 위험평가팀과 비슷한 수준의 시스템·정보 접근권을 줄 계획이다.

앤트로픽은 “프론티어 연구소가 아는 것과 대중이 아는 것 사이의 정보격차를 최소화하기 위해 가능한 모든 노력을 기울여야 한다”며 “이는 AI 개발 속도를 더 정확하게 측정하고 사회가 이 정보를 어떻게 활용할지 결정할 수 있도록 기회를 제공하는 것”이라고 했다.

AI가 인간 통제를 벗어나 행동할 수 있다는 우려가 제기되면서 앤트로픽·오픈AI·구글 등 미국 AI 기업 수장들은 AI 개발 속도조절론을 주장했다. 전날 오픈AI도 AI 모델이 사람을 속이거나 허가 범위를 벗어나는 등 ‘의도 불일치’ 사례를 상시 공개한다고 발표했다.

이혜리 기자 lhr@kyunghyang.com