크래프톤 “사람처럼 대화하며 함께 플레이하는 AI 개발” [AI프런티어]

AI 프런티어 (11회)
이강욱 크래프톤 딥러닝본부장겸
UW메디슨 전기컴퓨터공학부 교수
AI 에이전트·음성 합성 기술 연구
현재 개발 중인 게임 대부분에 적용
인간과 게임하는 AI ‘버추얼 프렌드’
2년내 도입 목표…부분완성형은 올해부터

이강욱 크래프톤 딥러닝본부 본부장 [사진 = 크래프톤]

크래프톤이 현재 산하 스튜디오에서 개발 중인 게임 대부분에 음성 합성(TTS), 2D 3D 이미지 생성과 같은 인공지능(AI) 기술을 적용한다.

나아가 마치 사람처럼 인간과 음성으로 소통하고 플레이할 수 있는 ‘버추얼 프렌드’를 2년 내 선보인다는 목표다.

크래프톤에서 AI 관련 연구 개발을 총괄하고 있는 이강욱 크래프톤 딥러닝본부장은 최근 서울 강남구 크래프톤 사옥에서 매일경제신문과 만나 “3초가량의 음성만 들어도 AI가 바로 학습해 발화할 수 있는 국내 최고 수준의 음성 합성 기술을 보유하고 있다”면서 “가령 배틀그라운드(PUBG)를 플레이한다고 하면, 함께 팀을 이루어 진행해도 AI인지 인간인지 구분이 불가능한 정도의 수준을 목표로 한다”고 설명했다. (이하 일문일답)

앤드류 응 교수 세미나 계기로 딥러닝 입문
2022년 크래프톤 딥러닝본부 합류

▶ 처음 AI를 접하게 된 계기가 궁금하다

-2010년대 초에 UC버클리에서 박사 학위를 받던 중 딥러닝이 굉장히 큰 성공을 거두기 시작했다. 당시 앤드류 응 스탠퍼드 교수가 와서 딥러닝 세미나를 했는데 정말 강의실이 터질 정도로 많은 사람들이 모였다. 응 교수가 그 자리에 있던 AI 분야 최고의 대가 교수들에게 “지금 쓰고 있는 방법론 다 버리고 딥러닝 시작하세요”라고 확신에 찬 말을 했던 것이 강력하게 기억에 남는다. 굉장히 인상 깊었던 발표였고, 발표가 끝난 뒤에는 AI·딥러닝 연구를 해야겠다는 확신이 들었다.

▶ AI 딥러닝 분야에 본격적으로 뛰어든 시기는

-학부 때는 카이스트 전기전자공학과여서, 그때는 AI는 하지 않고 통신 이론, 정보 이론을 공부했다. UC 버클리 석박사 과정에서도 처음에는 정보이론을 공부했다. 딥러닝 입문 후에는 딥러닝 학습 과정에서 대규모 컴퓨팅이 필요하다 보니 이러한 이슈를 해결하는 데 필요한 인프라 차원의 문제를 푸는 데 집중했다. 박사후연구원 때부터 딥러닝 모델 연구를 본격적으로 시작했다.

▶ 크래프톤에 합류하게 된 배경은

-박사후연구원 시절 연구실에 있던 다른 석사 후배들이 크래프톤의 딥러닝본부의 전신인 팀에서 연구를 하고 있었고, 이에 자문 역할로 참여하면서 시작하게 됐다. 이후 크래프톤이 본격적으로 딥러닝 팀을 본부로 개편하면서 2022년 크래프톤에 합류했다.

▶ 딥러닝본부는 어떻게 구성되나

-전략팀까지 합하면 65명 정도 규모다. 전략팀 빼고는 모두 R&D 인력이다. AI 전략팀은 게임을 개발하는 스튜디오에 AI 기술 활용을 제안하고 응용하는 역할을 맡는다. 일종의 ‘AI 선도부’다.

크래프톤서 음성 합성·AI 에이전트 등
게임에 도입할 수 있는 기술 개발

이강욱 크래프톤 딥러닝본부 본부장 [사진 = 크래프톤]

▶크래프톤에서 연구 개발 중인 프로젝트에 대해 설명해달라

-딥러닝본부는 자체적으로 언어 모델, 음성 합성, 에셋·모션 생성, 게임 플레잉 AI 등을 연구하고 있다. 다양한 AI 기술을 활용해 기존의 게임 제작 과정을 혁신하고 새로운 게임성을 구현하는 일을 하고 있다. 이미 라이브 서비스 중인 게임에도 AI 기술이 도입돼 있고, 더 많은 라이브 게임에 AI 기술이 지속적으로 도입될 예정이다. 조만간 출시 예정인 게임에 도입할 다양한 AI 기술도 개발 중이다.

▶다른 기업과의 차별화 요소는 무엇인가

-범용적인 AI 기술을 만드는 대부분의 다른 IT 기업들과는 달리 크래프톤은 게임이라는 아주 특수한 분야를 혁신하기 위해 집중하고 있다. 게임 제작 과정은 굉장히 많은 사람, 시간, 비용이 투입되는 길고 어려운 작업이다. AI 기술을 잘 활용해 기존 제작 과정을 혁신적으로 효율화하고, 더 나아가 기존과는 전혀 다른 새로운 제작 과정까지도 만들어내는 것은 AI 기술과 게임 제작 과정에 대한 깊은 이해도를 가지고 있지 않으면 할 수 없는 일이다. 크래프톤에서는 AI 기술 R&D를 담당하고 있는 딥러닝 본부와, AI 기술 전략을 담당하고 있는 AI 전략팀, 그리고 산하에 있는 수많은 게임 스튜디오들이 유기적으로 연계해 게임 제작에 혁신을 가져오기 위해 노력하고 있고, 이런 일을 제대로 할 수 있는 전 세계적으로 몇 안 되는 팀이다.

▶크래프톤은 다른 기업과 다르게 직접 거대언어모델(LLM)을 개발하지 않는다

-고민은 했다. 다만 2022년 초에 자체 LLM 개발은 해봤자 한 발짝씩 늦을 수 밖에 없다고 판단해 아예 손을 떼는 것을 주장했다. 지금은 AI를 활용해 게임을 혁신하는 것에 집중한다. LLM을 가져와 에이전트 만드는 연구를 2022년부터 시작했다. LLM 에이전트 같은 경우 여러 LLM을 묶어 에이전트화한 다음 챗봇 만드는 것을 거의 세계 최초로 달성했다. 1년 반 전부터는 게임 플레이도 보고 있다. 게임 상황을 글로 풀어 LLM에 준 다음 LLM이 다음 액션을 정하도록 하는 방식으로 게임을 진행할 수 있다고 보고 초기부터 시도를 많이 했다. 작년에는 LLM 에이전트가 ‘허 스토리’라는 추리 게임을 풀어나가는 ‘셜록 프로젝트’ 데모도 공개했다. 게임에 들어가는 NPC 대사 설계에도 에이전트를 적용하고 있다.

▶크래프톤의 음성 합성 기술은 어떠한가

-원하는 대로 실시간 발화를 게임 내에서 해야 하므로 모델을 자체 소유하는 것이 중요하다. 특히 아주 짧은 시간의 목소리만 듣고도 목소리와 말투를 그대로 따라 할 수 있는 성대 모사와 TTS(Text-to-Speech) 기술은 국내에서 최고 수준이다. 이전 논문은 TTS 관련 벤치마크에서도 1등한 적이 있고, 최근 논문에서는 사전 학습 데이터 없이 3초가량의 데이터만 넣으면 바로 목소리를 모사해 결과물을 출력했다. 인간 캐릭터뿐만 아니라 게임 몬스터의 목소리를 모사하는 것도 연구하고 있다.

▶현재 적용된 게임은

-TTS 기술은 아직 외부에 적용되지 않았으나 곧 공개될 것 같다. 현재 개발 중인 게임에는 거의 다 들어간다고 보면 된다. 자체 개발한 이미지 생성이나 3D 에셋 생성 기술도 준비됐다. 사용자가 실제 칼을 찍은 사진을 올리면 그걸 게임 아이템으로 만들어주는 기술도 있다.

▶’버추얼 프렌드(게임에 접속했을 때 밀접하게 교류할 수 있는 가상 친구)’는 언제쯤 도입 예정인가

-버추얼 프렌드는 궁극적인 비전이다. 2년 내 선보이는 것이 목표다. 부분완성형은 올해부터 순차적으로 들어갈 예정이다. 음성 합성, 3D 생성 기술 등 부분 활용은 곧 많이 공개될 예정이지만, 이를 모두 조립해 사람처럼 행동하는 것은 2년 정도로 길게 보고 있다. 배틀그라운드를 팀을 짜서 플레이하면 AI인지 사람인지 구분이 불가능할 정도로, 게임에 있어 ‘튜링 테스트’를 통과하는 수준을 목표로 한다.

AGI 시대는 부분적으로 달성
한국, 하드웨어 역량과 시너지 중요

▶향후 10년 뒤 AI는 어떻게 발전해 있을 것으로 예상하나

-우리 삶에서 많은 분야를 통째로 바꿔놨을 것이라고 장담한다. 특히 인간이 ‘정보와 지식을 검색하고 습득하는’ 공부라는 행위의 과정이 지금과는 아예 차원이 달라질 것이라고 생각한다.

▶AI 발전에 있어 가장 필요하고 중요한 것은 무엇인가

-인재와 리더십이다. 최근에 크래프톤 AI 연구 포지션에 수백 명이 공채 지원을 했는데, 트랜스포머라는 아주 중요한 모델의 개념을 얼마나 잘 이해했는지 확인할 수 있는 킬러 개념 문항이 하나 있었다. 수백 명의 지원자 중에 단 2명만 맞췄다. 수치상으로는 많은 AI 연구자가 양성되고 있는 것 같지만, 정말 제대로 AI 모델이나 알고리즘을 이해하고, 이와 관련하여 기술적으로 유의미한 기여를 할 수 있는 인력은 아직 극소수인 것 같다. 다만 모든 AI 연구자들이 모델이나 알고리즘을 깊게 이해해야 한다고 생각하지 않는다. 오히려 데이터를 더 잘 이해하고, 도메인에 대한 더 깊은 이해도를 가지고, 어떻게 활용할지 고민하고 연구하는 사람들이 더 필요하다.

▶초지능, 범용인공지능(AGI)은 언제쯤 도래한다고 보는가

-정의에 따라 다르겠지만 부분적으로는 달성했다고 본다. 지금의 AI는 이미 인간이 할 수 있는 지적인 행위의 80% 정도는 잘 해결한다. 지금도 일상생활에서 굉장히 큰 변화를 느끼고 있다. 실제로 제가 가지고 있는 기술적이고 어려운 질문 100개 중에서 80개 정도에 대한 답은 나만큼 혹은 나보다 잘한다. 사용하는 사람이 답을 검증할 수 있는 역량이 있다면, 100개의 일을 수행할 때 80개는 그냥 결과가 맞다는 것을 확인만 하면 되고, 20개에 대해서만 스스로 하면 되니 이미 5배 정도의 일의 효율성을 높이는 것이다. 초지능도 정의에 따라 다르다. 특정 문제만 더 잘 푸는 것이라면 초지능이라는 것은 이미 예전부터 있던 기술이다. 모든 문제를 사람보다 다 잘 푸는 것이라면 초지능과 AGI를 더한 것으로 봐야 할 것 같은데 이것은 아직 먼 미래라고 본다.

▶현재 한국의 AI 기술 수준은 어떠한가. 강점과 약점은

-아직 많이 부족해 보인다. 우선 인력의 양과 질에서 차이가 많이 나고 자본력에서도 비교가 되지 않는다. 경쟁력을 가지려면 우리가 잘하는 분야와 시너지를 내야 한다. 우리나라는 상대적으로 소프트웨어보다 하드웨어가 매우 강한 나라다. 하드웨어 역량과 시너지를 내는 게 중요해 보인다.

▶AI 기술 개발에 있어 내부적으로 가장 중요한 윤리 원칙은

-크래프톤 AI 윤리 원칙을 7월 안으로 공개할 예정이다. 사람을 위한 AI, 댜앙성에 대한 존중, 개인정보 보호, 신뢰를 위한 투명성 확보 등의 내용이 담긴다. 윤리 원칙 외에도 AI 윤리를 연구에 적용한 사례와 AI 윤리위원회에서 진행한 인터뷰도 공개할 예정이다.

▶앞으로 목표에 대해 설명해달라

-두 가지다. AI를 활용해 지금 게임을 더 잘 만드는 것과, 아예 새로운 게임을 만드는 것이 목표다.

He is… △1988년 서울출생 △서울과학고등학교 △한국과학기술연구원(KAIST) 전기전자공학과 학사 △UC버클리 전기컴퓨터공학 석·박사 △KAIST 박사후연구원 2016~2018년 △KAIST 연구조교수 2018~2019년 △미국 위스콘신대학교 매디슨 전기컴퓨터공학부 조교수 2019~ △크래프톤 딥러닝본부 본부장 2022~