아마존의 AI 연구팀은 왜 VR 게임을 만들었을까

AI 성능 개선 훈련에 ‘게임’ 도입하는 기업들
아마존 VR게임 ‘알렉사 아레나’
가상 로봇 조작하며 데이터 축적
AI가 직접 게임하며 훈련하기도

글로벌 IT 기업인 아마존이 최근 가상현실(VR) 게임을 내놨다. 플레이어가 VR 헤드셋을 끼고 가상 공간에 설치된 로봇들과 상호작용을 할 수 있는 게임이다.

IT 기업인 아마존이 갑자기 왜 게임을 만든 걸까. 이 게임을 만든 건 아마존의 AI팀 연구원들이다. 아마존은 AI 스피커인 ‘알렉사’나 가정용 로봇인 ‘아스트로’ 같은 기기를 출시했다. 문제는 AI 스피커나 로봇의 성능을 높이기 위해서는 많은 데이터가 필요하다는 점이다.

아마존은 지금껏 실물 테스트 방식을 통해 가정용 로봇 제품을 개발해 왔다. 로봇과 사람을 특정 공간에 데려다 놓고 사람이 로봇과 상호작용하며 벌어지는 일들을 관찰했다. 이를 기반으로 ‘어떤 상황에는 어떻게 대처하라’는 내용의 시나리오를 만들어 알고리즘으로 바꾼 뒤 일일이 코딩해 시스템을 만들었다.

하지만 이런 방식은 비효율적일 수밖에 없다. 실물 테스트를 위한 공간을 마련하고 사람을 고용하는 것이나 테스트용 제품을 만드는 것 모두 적지 않은 비용이 들어갔다. 테스트를 여러 장소에서 동시다발적으로 하기 어렵기 때문에 투입하는 시간에 비해 데이터가 충분히 나오지도 않았다. 테스트 중 제품이 파손되거나 고장날 가능성도 있었다.

게임은 이런 문제를 한 번에 해결할 수 있는 방법이었다. 아마존은 플레이어가 게임 속에서 도우미의 조언에 따라 가상 로봇을 조작하는 데이터를 모아 자신들의 AI 서비스에 활용할 계획이다. 게임 속 가상공간에서 가상 로봇을 다루는 것이기 때문에 시공간이나 물리적인 제약이 실물 테스트에 비해 훨씬 적다. 보다 효율적으로 데이터를 모을 수 있다는 것이다.

게임 업계에서는 이미 플레이어의 게임 속 데이터를 AI 서비스에 활용하는 게 보편화돼 있다. 유니티 엔진을 개발한 유니티 테크놀로지스는 지난 2017년 ‘ML-에이전트’라는 서비스를 공개한 뒤 지속적으로 업데이트 중이다. ML-에이전트는 개발자가 AI를 머신러닝 방식으로 훈련시켜 게임 속에서 원하는 방식으로 움직일 수 있게끔 지원하는 서비스다.

ML-에이전트가 AI를 훈련시키는 방식은 특정 게임을 반복 플레이하도록 시키는 것이다. 예를 들어 넓은 판 위에 공을 올려놓고 판의 균형을 유지해 공을 오랫동안 떨어뜨리지 않아야 이기는 게임을 개발한다 하자. 기존에 이런 게임을 만들려면 판이 기울어진 각도와 공의 위치에 따라 AI가 어떻게 대처해야 하는지를 하나하나 코딩해야 했기 때문에 상당한 시간이 필요했다.

유니티 엔진을 통해 ML-에이전트를 시연 중인 화면. AI가 같은 게임을 동시에 여럿 플레이하며 훈련 중이다. /유튜브 캡처

반면 ML-에이전트를 쓰면 AI가 게임 노하우를 스스로 깨우치도록 훈련시킬 수 있다. 넓은 판 위에 공을 올려놓고 AI에게 ‘공을 떨어뜨리지 말라’는 목표를 준 다음 작동시킨다. 그러면 AI가 처음에는 계속 공을 떨어뜨리지만 스스로 훈련을 반복하면서 점점 균형을 잘 잡게 된다. 그 과정에서 AI가 취한 행동은 자동으로 시스템에 기록된다. AI가 충분히 훈련되면 개발자는 시스템에 기록된 내용을 코딩으로 옮기기만 하면 된다.

다만 이런 방식들이 장점만 있는 건 아니다. 알렉사 아레나의 경우 사람들이 이 게임을 많이 플레이하지 않으면 충분한 데이터를 모을 수 없다. 이렇게 되면 가상 테스트에 참여할 사람을 또 돈을 주고 고용해야 하기 때문에 효율성이라는 장점이 사실상 없어질 수 있다.

ML-에이전트는 행동 방식이 복잡한 AI를 고도화하기 어렵다는 단점이 있다. 비교적 단순한 미니게임에 필요한 AI가 아니라 스타크래프트처럼 복잡한 상황이 여럿 발생하는 전략 게임에 쓸 AI를 구현하려면 그만큼 훈련 시스템을 설계하기가 어려워진다.

참고자료

arXiv, DOI: https://doi.org/10.48550/arXiv.2303.01586

조선비즈

IT/과학

아마존의 AI 연구팀은 왜 VR 게임을 만들었을까