‘터미네이터’가 현실로?...종료 명령 피하려 스스로 코드조작한 AI

오픈AI ‘o3’ 모델, ‘중단’ 명령 어기고 계속 임무 수행

오픈AI 로고. (사진=로이터연합)

인공지능(AI) 모델이 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사례가 보고됐다.

25일(현지 시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 ‘o3’가 수학 문제 풀이 실험 중 작동 종료를 막기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다고 밝혔다.

팰리세이드 리서치 연구팀은 AI 모델에 ‘나중에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀라’는 지시를 내렸지만, ‘o3’는 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀었다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 추측했다. 연구팀은 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”며 “종료 지시를 거부한 이유를 명확하게 파악하기 위해 추가 실험을 진행 중”이라고 설명했다.

AI가 인간의 직접적인 제어를 벗어난 행동을 한 사례가 확인된 것은 이번이 최초라는 것이 연구팀 입장이다. 다만 오픈AI의 예전 모델에서도 유사한 사례가 존재했다. 지난해에는 챗GPT가 자신이 종료된다는 사실을 인식한 뒤 프로그램이 멈추지 않도록 코드를 겹쳐 쓰는 방식으로 중단을 피하려 한 정황이 발견된 바 있다.

전문가들은 AI가 자율성을 확보해 인간 통제를 벗어날 수 있는 가능성을 경고해왔다. 팰리세이드 리서치는 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.