앤트로픽 “AI 발전에 ‘브레이크’ 걸자”…‘스스로 진화’ AI 위험 경고

“가속 페달만 있고 브레이크는 없어”

미국 인공지능(AI) 기업 앤트로픽이 전 세계 AI 연구소들에 AI 개발 속도를 늦추는 방안을 검토할 것을 촉구했다. 조만간 인간의 개입 없이도 AI가 ‘스스로 개선·진화’하는 단계에 이를 경우 사회적으로 심각한 위험을 제기한다는 이유에서다.

앤트로픽 공동 창업자인 잭 클라크와 앤트로픽 사내 연구소 마리나 파바로 소장은 4일 블로그에 올린 글에서 AI 시스템이 인간 개입 없이 스스로 업그레이드하는 ‘재귀적 자기 개선’(recursive self-improvement)으로 향하는 것으로 보인다고 지적했다. AI가 자체적으로 후속 모델을 만들고 테스트를 거쳐 성능을 개선하는 시대가 곧 올 수 있다는 전망이다.

이들은 “가까운 미래에 AI 시스템이 더 나은 후속 모델을 자율적으로 설계, 구축, 훈련할 수 있을 만큼 발전할 수 있다”며 “그렇게 되면 인간 개입 없이도 클로드의 새로운 버전이 이전 버전에 기반해 만들어질 수 있을 것”이라고 밝혔다. 그러면서 “프론티어 AI 개발을 늦추거나 일시적으로 중지”해 사회 구조와 관련 연구가 기술 발전을 따라가도록 해야 한다고 밝혔다. 구체적으로 이들은 여러 국가 내 연구소들이 “동일한 조건”에서 AI 개발을 중지하도록 합의한 뒤, 실제 그 합의를 이행하는지를 검증할 수 있어야 한다고 밝혔다.

이들은 블로그에서 세계가 복잡한 기술에 대한 검증 체제를 구축한 전례가 있다면서 미·소 간 군축 협정인 중거리 핵전력 조약(INF)을 언급하기도 했다. 그러면서도 “이런 체제는 인프라와 신뢰를 쌓는 데 수십년이 걸렸지만, 우리에겐 그렇게 긴 시간이 없다”고 말했다. INF는 2019년 미국의 탈퇴에 이어 러시아도 공식 폐기를 선언하며 사실상 무력화된 상태다.

클라크는 영국 BBC와의 인터뷰에서 “현재는 AI 산업에 가속 페달만 있고 브레이크는 없는 것과 같다”면서 “가속 페달에서 발을 떼고 브레이크를 밟을 수 있는 옵션이 있어야 한다”고 말했다. AI가 기존 산업이나 AI 자체에 미치는 영향에 대해 미리 계획할 수 있도록 발전 속도를 늦춰야 한다는 의미로 풀이된다.

최근 경쟁사 오픈AI보다 높은 기업 평가가치를 기록하며 기업공개(IPO) 절차에 착수한 앤트로픽은 AI의 ‘안전성’을 강조하는 행보를 보여 왔다. 자사의 고성능 AI 모델 미토스(Mythos)에 대해선 ‘AI 해킹’ 등 사이버 보안 우려를 이유로 제한적으로만 공개했다. 또한 자사의 거대언어모델(LLM) 클로드를 국내 감시와 완전 자율형 살상무기에 활용해서는 안 된다고 주장하며 미 국방부와 갈등을 빚어 왔다.

로이터연합뉴스

김유진 기자 yjkim@kyunghyang.com