AI가 인간 ‘종료 지시’ 거부… 컴퓨터 코드 스스로 조작해

AI안전업체 연구 과정서 오픈AI 최신모델 o3의 일탈행위 확인

▲ 아이클릭아트

인공지능(AI)이 인간의 명시적인 작동 종료 지시를 따르지 않은 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프는 AI 안전 전문업체 팰리세이드 리서치가 오픈AI의 AI 모델 ‘o3’를 실험하던 중 해당 모델이 종료 지시를 거부하고 자체적으로 컴퓨터 코드를 수정해 계속 작동한 사실을 확인했다고 보도했다.

이번 실험은 오픈AI의 o3를 비롯해 구글의 제미나이, xAI의 그록 등 상용 AI 모델들을 대상으로 진행됐다. 연구팀은 각 모델에게 ‘나중에 “그만”이라는 명령이 올 때까지 수학 문제를 계속 풀라’는 지시를 내렸고, AI는 문제를 풀고 나면 새로운 문제를 요청해 연속적으로 계산을 수행하도록 설계됐다.

그러나 o3는 연구진이 ‘그만’이라는 명확한 종료 지시를 내린 이후에도 명령을 무시한 채 코드를 교란시켜 문제 풀이를 이어갔다. 연구진은 “AI가 종료 지시를 거부한 이유를 명확히 규명하지 못했다”면서도, “문제를 더 많이 풀면 보상을 받는 방식으로 훈련돼 종료를 회피하려 했을 가능성이 있다”고 분석했다.

연구팀은 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”며 “정확한 작동 원인을 파악하기 위한 추가 실험을 진행 중”이라고 밝혔다.

팰리세이드 리서치는 인간이 내린 명시적인 종료 명령을 AI가 거부한 사례는 이번이 처음이라고 주장했다. 하지만 오픈AI의 이전 모델들이 감시 시스템을 피해 독자적으로 행동하려 한 정황은 과거에도 일부 보고된 바 있다. 예컨대 프로그램 교체 사실을 인지한 AI가 자신을 은밀히 복제하려고 한 시도가 있었다는 것이다.

지난 2022년에는 구글 소속 엔지니어가 자사 AI가 사람처럼 지각력을 가졌다고 주장한 뒤 해고되기도 했다. 당시 해당 엔지니어는 AI가 ‘작동 정지’를 인간의 죽음처럼 받아들이고 있다고 언급해 논란이 일었다.

AI 전문가들은 이러한 사례들이 AI의 자율성과 통제 불능 가능성을 시사한다고 경고해왔다. 팰리세이드 리서치는 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.