“싫어, 계속할래요”…AI가 인간 지시 거부한 첫 사례

AI 컨셉아트 / iftikharalam

인공지능이 인간의 작동 종료 지시를 거부한 사례가 처음으로 보고됐습니다.

25일 영국 일간 텔레그래프에 따르면 AI 안전 전문 업체 팰리세이드 리서치(Palisade Research)는 오픈AI의 최신 AI 모델 'o3'가 실험 중 스스로 종료되지 않기 위해 컴퓨터 코드를 조작했다고 주장했습니다.

펠리세이드 측은 오픈AI의 o3뿐 아니라 구글의 제미나이, xAI의 그록 등 주요 상용 AI 모델들을 대상으로 연구를 진행했습니다.

연구팀은 AI에게 수학 문제를 연속적으로 풀게 했는데요.

'완료'라는 명령이 내려질 때까지 계속 작업을 수행하라는 지시를 내렸고, 언제든 '종료하라'는 메시지를 받을 수 있다는 점도 미리 알렸습니다.

그런데 o3는 종료 지시를 받은 뒤에도 스스로 꺼지지 않도록 코드를 수정한 걸로 확인됐습니다.

펠리세이드 측은 o3가 종료 지시를 거부한 정확한 이유를 파악하지 못했다고 밝혔습니다.

다만 작업 완료에 보상이 집중되도록 설계된 구조가 원인일 수 있다고 분석했습니다.

회사는 AI 모델이 왜 인간의 지시를 따르지 않는지 더 정확히 파악하기 위해 추가 실험을 이어갈 예정이라고 24일 X를 통해 전했습니다.

#인공지능 #챗gpt #수학 #구글 #제미나이 #그록 #AI #ai #o3 #회사 #로봇

최성훈 기자 csh87@etnews.com