"게임 AI의 판을 바꾼다"...크래프톤, LLM 벤치마크 'Orak' 공개

6개 게임 장르 기반의 벤치마크 통해 AI 상황 판단, 행동력 검증
Co-Playable Character 기술,MCP 프로토콜로 게임 맥락 이해 수준 강화

(MHN 김성민 인턴기자) 크래프톤이 대규모 언어 모델(LLM) 기반 AI 에이전트의 게임 수행 능력을 평가하는 벤치마크 시스템 'Orak'을 공개했다.

'Orak'은 게임을 뜻하는 '오락'에서 착안한 이름으로, AI가 게임 속에서 상황을 인식하고 판단한 뒤 행동으로 이어지는 과정을 정량적으로 평가할 수 있도록 설계됐다. 액션, 어드벤처, RPG, 시뮬레이션, 전략, 퍼즐 등 여섯 가지 게임 장르를 기반으로 구성됐다.

LLM 에이전트가 Orak의 게임을 플레이하는 모습

이번 시스템에는 크래프톤이 엔비디아와 공동 개발한 Co-Playable Character(CPC)를 통해 확보한 AI 설계 노하우가 반영됐다. 이를 통해 LLM 기반의 AI가 게임 환경 내에서 복잡한 맥락을 해석하고 주체적으로 결정을 내리는 역량을 분석할 수 있다.

'Orak'의 핵심 기술로는 MCP(Model Context Protocol)가 있다. MCP는 게임 내 정보를 텍스트 기반으로 변환해 LLM이 이를 이해할 수 있게 하며, 반대로 모델의 응답을 게임 내 행동으로 전환하는 역할을 수행한다. 이에 따라 AI는 플레이어처럼 게임 상황을 받아들이고, 최적의 액션을 선택해 수행할 수 있게 된다. 예컨대 액션 장르에서는 장애물을 인식한 후 점프나 회피 등의 행동을 결정할 수 있다.

Orak 게임 AI 플레이 점수 순위표

크래프톤은 'Orak'을 통해 AI 기술의 연구 기준을 새롭게 제시하고, 관련 연구를 게임 산업을 넘어 다양한 분야로 확장할 방침이다. 또한, LLM 파인튜닝에 활용 가능한 데이터셋도 함께 제공해 연구자들이 실전 게임 환경에 맞게 모델을 최적화할 수 있도록 지원한다.

크래프톤 딥러닝 본부장 이강욱은 "Orak은 크래프톤이 보유한 게임 특화형 LLM 연구 성과가 집약된 벤치마크로, 이를 토대로 LLM 에이전트 설계 대회도 기획 중"이라며, "AI를 기반으로 한 게임 플레이 경험의 혁신을 이끌어 가겠다"고 밝혔다.

 

사진=크래프톤