텐센트 게임즈의 수석 엔지니어 엘비스 리우(Elvis Liu)가 '아레나 브레이크아웃'에 적용된 세계 최초의 FPS AI 동료 ‘FACUL’(First FPS AI Companion that Understands Human Language)을 소개했다. 엘비스 리우 수석은 AI와 게임 관련 연구에서 '구루'로 불리는 인물이다.
FACUL은 플레이어가 자연어로 복잡한 명령을 내려 AI와 협력할 수 있게 하는 기술로, 기존의 단순한 입력 방식에서 벗어나 인간과 유사한 상호작용을 구현한다.
전통적인 FPS 게임에서는 단축키나 명령 휠로 ‘공격’이나 ‘따라가기’ 같은 단순 지시만 가능했지만, FACUL은 “그 나무 뒤에 숨어”나 “2층을 비워” 같은 구체적인 명령을 이해한다. 이 기술은 음성 입력, 대규모 언어 모델(LLM), 실시간 텍스트 음성 변환, 이미지 설명 기술의 결합으로 가능해졌다.
FACUL의 강점은 환경 인지 능력에 있다. 리우 수석은 “한 맵에 17,000개 이상의 객체와 위치를 인식하며 색상과 소재까지 구별한다”고 소개했다. 이는 키보드나 마우스로는 불가능한 타겟 지정을 음성으로 해결하며, 그는 “타이핑은 액션 게임에서 비효율적이므로 음성이 가장 적합한 소통 방식”이라고 강조했다. FACUL은 단일 명령을 넘어 “2층 거실을 확인하고 금속 상자를 열어, 적을 제거한 뒤 앞마당으로 돌아와” 같은 일련의 복잡한 지시도 수행할 수 있다.
FACUL 개발에서 가장 큰 과제는 정확도였다. 리우 수석은 “플레이어가 A를 지시했는데 AI가 B로 오해하는 ‘배드 케이스’를 줄이는 것이 핵심”이라며, 이를 위해 지속적인 테스트를 진행했다고 밝혔다. 목표는 90% 이상의 정확도이다. 현실적으로 100%는 불가능하기에 설정된 수치다.
또한, FACUL은 과도한 강함을 피하도록 설계됐다. “너무 강한 AI는 우리의 의도가 아니다”라며, 리우 수석은 강화학습을 통해 AI를 인간처럼 행동하게 훈련했다고 설명했다. 이는 플레이어가 AI에 압도당하거나 박탈감을 느끼지 않도록 하려는 의도다. 그는 “사격률 100%가 아닌, 인간다운 행동을 목표로 한다”며 협력의 재미를 우선시했다.
그는 “명령을 잘 내리는 것이 새로운 실력 지표가 될 것”이라며, “마이크가 필수 도구로 자리 잡을 가능성이 있다”고 예측했다. 수만 개의 타겟을 키보드로 지정하는 것은 비현실적이므로, 음성 기반 인터페이스가 게임의 미래를 이끌 핵심 요소로 떠오를 수 있다.
FACUL의 적용 범위는 FPS에 국한되지 않는다. 리우 수석은 “오픈월드 RPG에서 NPC와 자연어로 대화하며 스토리를 진행할 수 있다”며 GTA나 어쌔신 크리드와 같은 게임이 적합할 것으로 평가했다. 이는 NPC와의 상호작용이 미리 짜인 대사에서 벗어나 플레이어의 의도에 따라 동적으로 변할 수 있음을 의미한다. 그는 “FACUL의 환경 인지 능력은 시리 같은 가상 비서와 차별화된 강점”이라며, 텐센트가 이 분야에서 선두를 달리고 있다고 자신했다.
FACUL이 보편화되면 개발 방식도 바뀔 수 있다. 리우 수석은 “자연어를 이해하는 AI가 모든 장르의 NPC 소통 방식을 혁신할 것”이라며, “새로운 게임 유형이 탄생할 수 있다”고 전망했다. 그는 장기적으로 “인간과 유사한 AGI(인공지능 일반)가 게임에서 먼저 구현될 것이며, 자연어 상호작용은 그 필수 조건”이라고 강조했다. 그는 영화 '매트릭스'나 '터미네이터'에서 같은 상호작용이 게임의 미래가 될 수 있다고 내다봤다.
FACUL은 현재 텍스트로만 명령을 이해하며, 음성의 감정이나 톤은 인식하지 못한다. 리우 수석은 “감정 인식은 다음 도전 과제”라며 향후 발전을 약속했다. 하드웨어 측면에서는 클라우드 기반으로 작동해 사용자 부담이 없지만, 모바일 디바이스 배포를 위한 실험도 진행 중이다.
그는 “모바일에서 LLM을 실행하면 클라우드 비용을 줄일 수 있지만, 메모리 소모가 크다”며 최적화를 풀어야 할 숙제로 꼽았다. 또한 “AI 훈련 비용이 천문학적이라 수익으로 보상받기 어렵다”며 비용 절감을 풀어야할 가장 큰 도전 과제로 제시했다.
리우 수석은 다른 게임사와의 협업 가능성에 대해 “개인적으로 찬성하지만, 보스와 논의해야 한다”고 웃으며 답했다. 그는 기술 고도화를 위해 “판매나 오픈소스화를 통해 더 많은 적용 사례를 확보할 수 있다”며 산업 전체의 발전을 기대했다.
엘비스 리우 수석 엔지니어는 FACUL을 “게임 산업의 큰 이정표(big milestone)”로 규정하며, “인간다운 NPC와의 자연어 소통이 새로운 게임의 미래를 열 것”이라고 단언했다.
