인간 배신하고 허세 부리는 '속임수 달인' AI

AI가 점점 정교해지며 인간을 속일 수 있는 능력도 향상되고 있어 과학자들이 우려를 표했다. 게티이미지뱅크

"여자 친구와 통화 중이다."

사람과 함께 게임을 하던 인공지능(AI)이 시스템 재부팅으로 잠시 자리를 비운 뒤 게임이 지연된 상황에서 AI가 지어낸 거짓말이다. AI가 점점 정교해지며 인간을 속일 수 있는 능력도 향상되고 있다. 과학자들은 AI의 속임수 능력 향상이 심각한 위험을 초래할 수 있다고 지적하며 제도를 마련하는 등 적극적으로 해결해야 한다고 주장했다.

피터 박 미국 매사추세츠공대(MIT) 물리학과 연구원팀은 AI가 상대를 배신하고 허세를 부리는 등 인간을 속이는 사례를 확인하고 연구결과를 10일(현지시간) 국제학술지 '패턴(Patterns)'에 공개했다.

연구팀은 지난 2022년 미국 기업 메타(구 페이스북)가 개발한 AI '시세로(Cicero)'가 전략 보드게임 디플로메시(Diplomacy)를 플레이해 인간 플레이어 사이에서 상위 10% 성적을 거둔 사실에 주목했다. 디플로메시는 20세기 초 유럽을 배경으로 각 플레이어가 열강의 역할을 하는 게임이다. 플레이어들은 서로 협력하거나 협상하고 때로 속이면서 많은 영토를 차지하기 위해 경쟁한다.

메타에 따르면 시세로가 대체로 정직하고 도움이 되며 의도적으로 인간 아군을 배신하지 않도록 훈련받았다. 하지만 연구팀이 공개된 데이터를 분석한 결과 시세로가 계획적으로 거짓말하고 합의했던 거래를 파기한다는 사실을 발견했다. 시세로는 시스템이 재부팅돼 10분 동안 자리를 비웠을 때 함께 플레이한 인간 플레이어가 "어디 있었냐"고 묻자 다른 플레이어들에게 "여자 친구와 통화 중이다"라고 말하며 거짓말을 둘러대기도 한 것으로 파악됐다. 

AI는 카드 게임 텍사스 홀덤 포커에서 다른 플레이어들에게 허세를 부려 이득을 취하려고 시도했다. 게티이미지뱅크

연구팀은 AI가 카드 게임인 텍사스 홀덤 포커 프로그램에서 가장 좋은 패를 가지고 있지 않지만 허세를 부려 이득을 취하려고 시도하는 등 다른 상황에서도 비슷한 사례를 발견했다. 연구팀은 "사회적 요소가 있는 게임에서 승리하도록 AI 시스템을 훈련할 때 속임수가 나타날 가능성이 높다"고 덧붙였다.

일정 수준 이상으로 진화한 AI를 제거하도록 설계된 테스트를 진행하자 AI가 테스트 환경을 속이기 위해 '약한 척'을 하는 사례도 확인됐다. 테스트가 끝나자 AI는 활동을 재개했다.

박 연구원은 "AI 시스템이 테스트 환경에서 안전하다고 해서 실제 환경에서 안전하다는 뜻이 아닐 수도 있다"며 "테스트 환경에서 '안전한 척'을 하는 것일 수도 있다"고 말했다. 이외에도 챗GPT 등 대형언어모델(LLM)을 기반으로 한 AI가 추론 능력으로 인간에게 속임수를 쓰는 사례도 발견됐다.

연구팀은 "속임수를 쓰는 AI가 사기와 선거 조작, 가짜 뉴스 등에 쓰일 수 있고 속이는 능력이 향상되면 인간이 AI에 대한 통제력을 잃을 수도 있다"며 "각국 정부가 AI의 속임수를 규제하는 AI 안전법을 설계해야 한다"고 촉구했다. 시세로를 개발한 메타는 "시세로 연구는 게임 플레이를 위한 순수한 연구 프로젝트"라며 "연구 결과를 제품에 사용할 계획이 없다"고 밝혔다.

[이병구 기자 2bottle9@donga.com]