사용자의 입 움직임과 발음을 학습해 순식간에 미지의 언어를 터득하는 인공지능(AI) 로봇이 탄생했다. 인간형 로봇의 위화감을 최소화하기 위해 개발된 이 로봇은 한국어도 척척 구사한다.
미국 컬럼비아대학교 로봇공학 연구팀은 23일 공식 SNS를 통해 인간의 입모양을 보고 배워 다국어를 구사하는 최신형 AI 로봇을 소개했다.
이 로봇은 인간의 음성과 입의 움직임을 철저하게 분석하고 관찰해 특정 언어의 발음을 빠르게 습득한다. 심지어 거울에 비친 자신의 얼굴을 들여다보며 입모양을 교정한다.
컬럼비아대 크리에이티브 머신 랩 호드 립손 소장은 "사전의 프로그래밍 없이 모르는 언어와 노래에 맞춰 즉각적으로 완벽한 립싱크(음성에 맞춘 입모양)가 가능한 로봇"이라며 "인간과 자연스러운 대화를 실현하는 우리 기술은 교육이나 의료 같은 대인 커뮤니케이션이 중요한 현장에서 활용될 것"이라고 전했다.
이어 "인간은 대화할 때 주의력의 절반 가까이를 상대방의 입술 움직임에 집중한다"며 "로봇의 입을 인간처럼 자연스럽게 움직이는 것은 매우 어려운 기술인데, AI를 이용한 자체 학습으로 이 난제를 해결했다"고 덧붙였다.
연구팀은 부드러운 입모양을 위해 로봇 얼굴에 모터를 26개가 장착했다. 거울 앞에서 어떤 모터를 움직이면 어떤 표정이 되는지 로봇 스스로 학습하도록 AI를 고도화했다. 얼굴을 자유롭게 움직이며 입모양을 학습한 로봇은 수많은 유튜브 영상을 들여다보며 다양한 언어권의 사람이 말하는 패턴을 익혔다.
이런 과정을 거쳐 로봇은 한 번도 들어본 적 없는 언어나 AI가 생성한 노래를 듣고 자연스럽게 입을 움직여 발음하고 노래했다. 정해진 규칙을 따르지 않는 이 로봇은 사람과 대화에서도 뛰어난 적응력을 보여줬다. 한국어는 물론 영어, 프랑스어, 아랍어, 일본어, 독일어, 중국어 등 다양한 언어를 척척 구사했다.
호드 립손 소장은 "지금까지 인간을 모방한 휴머노이드 로봇은 대개 보행이나 물건을 다루는 손발의 움직임에 집중했다"며 "자연스러운 표정은 연구가 상대적으로 더뎠는데, 오히려 인간과 교류에서 얼굴 표정이야말로 가장 중요한 요소"라고 강조했다.
소장은 "부드러운 피부 아래 다수의 모터를 넣어 AI로 제어하는 로봇의 얼굴 구조는 생동감이 넘쳐 인간의 거부감을 줄인다'며 "이번 립싱크 기술은 챗(Chat)GPT나 제미나이(Gemini) 같은 고도의 대화형 AI와 결합하면 인간과 로봇의 유대는 더욱 깊어질 것"이라고 기대했다.
정이안 기자 anglee@sputnik.kr
Copyright © SPUTNIK(스푸트니크)