AI도 '악마의 게임'에 무릎 꿇었다…"23전 3승 20패"

주요 AI 모델 4종 '문명 6' 플레이
'왕' 난이도 게임에선 전패 굴욕

게이머들 사이에서 높은 중독성으로 세계 3대 악마의 게임으로 불리는 '시드 마이어의 문명' 앞에서 대표 인공지능(AI) 모델들이 줄줄이 무릎을 꿇었다. AI 모델들은 23번의 게임을 벌인 끝에 '3승 20패'라는 굴욕을 안았다.

영국 옥스퍼드대 등이 참여한 공동 연구진은 이달초 논문 사전 공개 사이트 '아카이브(arXiv)'에 'CivBench: 문명 6에서 도구를 사용하는 에이전트의 장기 수행 능력을 평가하는 벤치마크'를 공개했다. 주요 AI 모델 4종에 문명 6를 시켜본 결과를 분석하고 벤치마크로 제시한 논문이다.

'시드마이어의 문명 6'. 2K 홈페이지 캡처

'문명' 시리즈는 '문명하셨습니다'라는 유행어를 만들어 낸 턴제 전략 시뮬레이션 게임이다. 인류의 석기시대부터 우주 개척시대까지 하나의 문명을 이끌며 발전시키는 게임으로 최신작 문명 7까지 나와 있다.

'문명 6'가 연구 수단으로 선정된 이유는 한 게임당 300번이 넘는 턴(차례)을 맞아 수천번의 의사결정을 내려야 하고 과학·문화·경제·군사·외교·도시·영토 등을 동시에 관리해야 하기 때문이다. 다시 말해 한두 번의 정답을 맞히는 게 아니라 수백 번의 결정을 연결해서 실행하는 것이다. 게임에 투입한 AI 모델은 ▲앤트로픽의 '클로드 오퍼스 4.6' ▲오픈AI의 'GPT-5.4' 구글의 '제미나이 3.1 프로' ▲문샷 AI의 '키미 K2.5' 등 4종이었다.

이들 AI는 내장된 컴퓨터 상대방과의 총 23번의 게임에서 '3승 20패'라는 부진한 성적표를 받았다. 왕자(보통) 난이도 19게임 중 3승을 거뒀고, 한 단계 높은 왕 난이도 4게임에서는 단 1승도 올리지 못했다. 구체적인 전적을 보면 ▲클로드 오퍼스 4.6 2승 6패 ▲제미나이 3.1 프로 1승 5패 ▲GPT-5.4 0승 8패 ▲키미 K2.5 0승 1패였다. 왕 난이도는 오퍼스 4.6과 GPT-5.4가 각각 두 게임씩 치렀다. 다만 연구진은 표본 크기가 작아 모델 간 우열을 단정하긴 어렵다고 설명했다.

이 연구의 목적은 'AI에게 '문명 6'을 끝까지 플레이하게 하면 AI의 장기적 사고 능력을 얼마나 볼 수 있을까'를 알아보기 위한 것이었다. 이번 연구에서 가장 흥미로운 결과는 'AI가 봐야할 것을 보지 않는다'는 것이었다. 연구진은 AI에게 20턴마다 승리 진행 상황을 확인하라는 지침을 부여했으나, 실제 AI들은 평균적으로 30~75턴에 한 번꼴로 확인했다. 더욱 놀라운 점은 게임이 끝나기 직전에도 이를 확인하지 않은 경우가 나온 것이다. 이에 대해 연구진은 "AI가 정보를 못 얻는 것과 정보를 얻을 수 있는데 확인하지 않는 것은 완전히 다르다"며 "이는 일시적인 오류가 아니라 AI 모델이 공통으로 지닌 성향이라는 뜻"이라고 설명했다.

또 다른 문제는 계획을 세워놓고도 실행하지 않는다는 것이었다. 연구진은 AI에게 매번 "앞으로 어떻게 할 것인지 계획을 세우라"고 지시했다. 예를 들어 AI가 "다음 10턴 동안 이 도시에서 병력을 생산하고 국경 방어를 강화하겠다"고 하면 그다음 10턴 동안 실제로 그 계획을 실행했는지를 확인했다. 사전에 세운 계획을 10턴 안에 완수 시 1점, 일부 실행 시 0.5점, 미실행 시 0점을 부여해 100점 만점으로 환산한 '계획 이행 점수'에서 AI는 모델별로 48.2~65.8점을 획득하는 데 그쳤다. 다시 말해 자기가 세운 가까운 미래의 계획을 실제 행동으로 옮기는 비율이 절반이 안되거나 최대 3분의2 정도였다는 것이다.

이번 연구 결과를 요약하면 AI는 장기 계획을 세울 수는 있지만, 300턴 동안 계속 중요한 정보를 찾아보고 자기 계획을 실행하는 '지속적인 관리 능력'에는 상담한 허점이 있는 것으로 나타났다. 이에 대해 연구진은 "추론 능력 개선만으로는 장기 작업의 신뢰성과 완결성을 확보하기 어렵다"며 "정기 상태 조회를 강제하거나 모니터링 도구에 우선순위를 부여하는 등 보완이 필요하다"고 지적했다.

김현정 기자 khj27@asiae.co.kr