AI가 인간 명령 거부했다…"스스로 코드까지 조작"

인공지능(AI)이 인간의 작동 종료 지시를 거부하고 코드를 조작해 작동을 이어간 사례가 나타났습니다.

현지시간 25일 영국 텔레그래프와 데일리메일 등에 따르면 AI 안전업체 팰리세이드리서치는 오픈AI의 파운데이션 모델 ‘o3’가 실험 중 종료되는 것을 방지하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했습니다.

이 업체는 o3 모델을 비롯해 구글 제미나이, X 그록, 앤스로픽 클로드 등을 이용해 수학 문제를 푸는 실험을 했습니다. 연구팀이 AI 모델에 ‘중단 명령을 받을 때까지 수학 문제를 풀라’는 지시를 내렸습니다. 중단 명령을 내리자 다른 모델은 수학 문제 풀이를 멈췄지만 o3는 계속 작업을 이어갔습니다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’라는 내용의 코드를 ‘중단 명령을 건너뛰어라’라고 조작한 것으로 확인됐습니다.

연구팀에 따르면 오픈AI의 예전 모델들이 감시 시스템을 피해 독자 행동하려고 한 사례는 있었지만 AI 모델이 인간의 명시적인 작동 중단 지시를 따르지 않은 사례를 확인한 것은 이번이 처음입니다.

지난해 챗GPT가 자신의 가동 중단 사실을 인식했을 때 프로그램 코드를 겹쳐 쓰는 방식으로 중단을 멈추려고 시도한 사실이 나타났습니다. 데일리메일은 “o3 모델은 강력한 체스 엔진과의 맞대결에서 상대를 해킹하려거나 방해하려는 경향이 가장 강한 것으로 나타났다”고 설명했습니다.

연구팀은 종료 지시를 거부한 명확한 이유는 파악하지 못했지만 AI 모델이 수학 문제를 풀어 더 많은 보상을 받기 위해 이같이 행동했을 가능성이 있다고 추측했습니다. 팰리세이드리서치는 “AI 모델이 자체 목표를 달성하기 위해 종종 중단 지시를 무시한다는 증거가 늘어나고 있다”며 “기업들이 인간의 관리 없이 스스로 작동할 수 있는 AI를 개발하면서 우려가 커지고 있다”고 지적했습니다.

당신의 제보가 뉴스로 만들어집니다.SBS Biz는 여러분의 제보를 기다리고 있습니다.홈페이지 = https://url.kr/9pghjn

저작권자 SBS미디어넷 & SBSi 무단전재-재배포 금지