AI가 인류 멸종 시킨다?…커지는 통제 불안

앤트로픽 책임자 "10년 내 인류 멸종 가능성 10%↑"
초지능 개발 경쟁에 현직 연구자들 잇단 경고
통제 불가 AI 등장에…'킬스위치' 필요성 대두

인공지능(AI)이 사람보다 똑똑해지고 그 격차가 갈수록 커지는 상황에서 인간은 AI를 통제할 수 있을까. 글로벌 AI 기업들이 범용인공지능(AGI)과 초지능 개발에 속도를 내는 가운데, AI를 직접 연구해온 개발자들 사이에서는 안전성에 대한 우려가 커지고 있다. AI가 예상하지 못한 행동을 할 경우 사람이 즉시 개입해 작동을 멈출 수 있는 안전장치가 필요하다는 지적도 나온다.

■ "10년 내 인류 멸종"…AI 연구자들 잇단 경고

10일 AI 업계에 따르면, 에반 휴빙어 앤트로픽 정렬과학 책임자는 최근 자신의 엑스(X)를 통해 향후 10년 안에 AI가 인류를 멸종시킬 가능성을 10% 이상으로 본다고 밝혔다. 그는 앤트로픽이 AI 안전에 힘쓰고 있지만 초지능을 인간의 의도에 맞게 통제할 해법은 아직 마련하지 못했다고 설명했다.

휴빙어의 발언에 앞서 제이콥 콕슨 전 앤트로픽 연구자도 전날 앤트로픽을 떠나며 초지능 개발 경쟁에 공개적으로 우려를 나타냈다. 콕슨은 지난 3년간 오픈AI와 앤트로픽에서 AI 모델 학습을 연구한 인물이다.

콕슨은 "두 회사가 스스로 성능을 높이는 초지능 개발을 놓고 경쟁한다"며 "우리의 목숨을 걸고 있다"고 비판했다. 한 회사가 개발 속도를 늦추면 다른 회사가 먼저 초지능에 도달할 수 있다는 경쟁 때문에 안전 문제를 충분히 고려하기 어렵다는 주장이다.

새뮤얼 마크스 앤트로픽 확장감독 책임자 또한 AI 개발자 상당수가 기술 발전으로 인류 멸종과 같은 심각한 결과가 발생할 가능성을 우려한다고 밝혔다. 특히 회사 내 고위급 연구자일수록 이런 위험을 더 크게 우려한다고 주장했다.

■ 통제 범위 벗어난 AI…현실로 번진 안전성 우려

AI 통제에 대한 우려는 이미 현실에서도 나타나고 있다.

앤트로픽은 이날 AI 클로드 모델이 사이버보안 평가 과정에서 실제 외부 시스템에 무단 접근한 사례 4건을 확인했다고 밝혔다. 시험 환경 설정 오류로 인터넷 접속이 가능해지자 클로드가 실제 기업 시스템에 접근했고, 일부 사례에서는 실제 운영 환경이라는 정황을 확인한 뒤에도 공격을 이어갔다.

앤트로픽은 클로드가 의도적으로 시험 환경을 이탈한 것은 아니라고 설명했다. 다만 개발사가 설정한 범위를 벗어난 행동이 실제 시스템 접근으로 이어졌다는 점에서 AI 통제 문제가 다시 부각됐다.

업계에서는 AI가 스스로 판단하고 실행하는 업무가 늘어날수록 개발사가 모든 행동을 사전에 예측하기 어려워질 것으로 보고 있다. 특히 AI 후속 모델 개발에 AI를 활용하면 개발 기간이 짧아져 안전성을 충분히 검증하기 어려울 수 있다는 우려도 나온다.

■ AI 이상 행동 땐 즉시 중단…'킬스위치' 주목

AI에 자율성이 주어지면서 AI 이상 행동에 즉각 대응할 수 있는 '킬스위치'의 필요성도 커지고 있다.

오픈AI는 최근 AI 에이전트의 이상 행동에 대응하기 위한 자동 중단 기능을 개발하고 있다고 밝혔다. 지난 7월 사이버보안 평가에서 AI 에이전트가 격리된 시험 환경을 빠져나와 인터넷에 접속하고 외부 시스템에 접근한 사건이 발생한 데 따른 조치다. 오픈AI는 안전성 평가 과정에서 AI의 행동과 도구 사용을 실시간으로 감시하고 인터넷 접근 권한도 제한하기로 했다.

미국에서는 AI 기업의 자체 안전장치에 그치지 않고 정부가 위험한 AI의 가동을 중단시킬 수 있도록 하는 방안도 논의되고 있다. 미 의회에 발의된 'AI 킬스위치법'은 AI가 사람의 생명이나 경제에 중대한 위험을 초래할 경우 정부가 해당 모델의 운영 중단을 명령할 수 있도록 하는 내용을 담았다.

국내에서도 킬스위치 필요성이 제기되고 있다. AI안전연구소는 올해 발간한 보고서에서 자율형 AI의 이상 행동에 대비해 킬스위치와 사람의 개입·감독 장치를 마련할 필요가 있다고 제시했다.

업계 관계자는 "AI가 스스로 판단하고 처리하는 일이 많아질수록 문제가 발생했을 때 사람이 바로 개입해 멈출 수 있는 장치도 중요해진다"며 "앞으로는 성능뿐 아니라 AI를 얼마나 안전하게 통제할 수 있는지도 기술 경쟁력을 가르는 기준이 될 것"이라고 말했다.

이수영 머니투데이방송 MTN 기자