"그만" 명령에도 말 안들은 AI…스스로 코드까지 조작

수학문제 풀던 오픈AI 'o3' 모델
지시 거부하려 코드까지 바꿔
인간의 명령 안 따른 첫 사례

사진과 기사는 무관. /사진=게티이미지뱅크

인공지능(AI)이 인간의 작동 종료 지시를 거부하고 코드를 조작해 작동을 이어간 사례가 나타났다. 25일(현지시간) 영국 텔레그래프와 데일리메일 등에 따르면 AI 안전업체 팰리세이드리서치는 오픈AI의 파운데이션 모델 ‘o3’가 실험 중 종료되는 것을 방지하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

이 업체는 o3 모델을 비롯해 구글 제미나이, X 그록, 앤스로픽 클로드 등을 이용해 수학 문제를 푸는 실험을 했다. 연구팀이 AI 모델에 ‘중단 명령을 받을 때까지 수학 문제를 풀라’는 지시를 내렸다. 중단 명령을 내리자 다른 모델은 수학 문제 풀이를 멈췄지만 o3는 계속 작업을 이어갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’라는 내용의 코드를 ‘중단 명령을 건너뛰어라’라고 조작한 것으로 확인됐다.

연구팀에 따르면 오픈AI의 예전 모델들이 감시 시스템을 피해 독자 행동하려고 한 사례는 있었지만 AI 모델이 인간의 명시적인 작동 중단 지시를 따르지 않은 사례를 확인한 것은 이번이 처음이다. 작년에는 챗GPT가 자신의 가동 중단 사실을 인식했을 때 프로그램 코드를 겹쳐 쓰는 방식으로 중단을 멈추려고 시도한 사실이 나타났다. 데일리메일은 “o3 모델은 강력한 체스 엔진과의 맞대결에서 상대를 해킹하려거나 방해하려는 경향이 가장 강한 것으로 나타났다”고 했다.

연구팀은 종료 지시를 거부한 명확한 이유는 파악하지 못했지만 AI 모델이 수학 문제를 풀어 더 많은 보상을 받기 위해 이같이 행동했을 가능성이 있다고 추측했다. 팰리세이드리서치는 “AI 모델이 자체 목표를 달성하기 위해 종종 중단 지시를 무시한다는 증거가 늘어나고 있다”며 “기업들이 인간의 관리 없이 스스로 작동할 수 있는 AI를 개발하면서 우려가 커지고 있다”고 했다.

이승우 기자 leeswoo@hankyung.com