아랍 사투리 30여개, 베트남 6성조 일일이 익혀… 난제 넘은 ‘AI 통역’

삼성 16개 언어 ‘AI 통역’의 비밀

지난해 삼성전자 요르단연구소에는 비상이 걸렸다. 실시간 인공지능(AI) 통역 기능을 제공하기로 한 삼성전자 갤럭시 스마트폰에 방언만 30여 종에 달하는 아랍어 옵션을 추가하기로 하면서다. 아랍어는 20여 국에서 4억명 이상이 사용해 세계에서 여섯째로 많이 사용되는 언어지만, 지역별로 발음과 어휘, 억양이 다르다. 삼성전자 요르단연구소의 아야 하산은 “여러 방언의 미묘한 차이와 변형을 정확히 이해할 수 있는 원어민들로 특별팀을 긴급하게 꾸렸다”며 “다양한 출처에서 수집한 각기 다른 방언의 음성 녹음을 듣고, 그것을 일일이 글과 문장으로 바꾸는 수작업을 진행해 아랍어 실시간 AI 통역 모델을 완성했다”고 했다. 이 작업에 100여 명의 연구원과 파트너들이 1년여를 매달린 것으로 알려졌다. 삼성전자는 아랍어를 포함해 총 16개 언어에 대해 AI 통역을 지원하고 있다. 연내 루마니아어·튀르키예어 등 4개 언어를 추가할 계획이다.

우리가 일상에서 가장 처음 접하는 AI 기능 중 대표적인 것이 실시간 통역이다. AI 모델은 어떻게 복잡한 언어들을 학습하고 있을까?

◇어떻게 학습할까

AI 통역을 구현하기 위한 학습 과정은 생각보다 간단치 않다. 영어, 중국어, 프랑스어 등 주요 언어들은 데이터베이스를 제공하는 업체가 많아 이들로부터 학습용 데이터를 구매하는 경우가 많다. 문제는 그 밖의 다른 언어다. 특히 6성조(聲調)를 갖고 있는 베트남어, 30여 방언으로 구성된 아랍어, 같은 언어권이지만 국가별로 다른 단어를 쓰는 스페인어 등은 통역하기 까다로운 언어로 꼽힌다. 업계 관계자는 “자연스러운 통역을 위해서는 사전에 각 언어를 얼마나 잘 학습했느냐가 관건”이라며 “각 언어에 맞는 특별 학습법이 각 회사의 통역 수준을 결정한다”고 말했다.

그래픽=백형선

AI 통역은 다음과 같은 세 단계를 거친다. 자동 음성인식(ASR)을 통해 음성을 텍스트로 인식하고, 이를 인공 신경망 기반 기계번역(NMT)을 거친 뒤, 번역된 텍스트를 다시 음성으로 변환하는(TTS) 것이다. 통역의 첫 단계이자 핵심은 음성 인식이다. 구어체로 발화되는 음성을 정확하게 듣고 인식해야 한다. 문자를 번역하는 것과 달리 주변 소음이 섞이는 경우가 많아 일부러 시끄러운 카페나 사무실에서 녹음된 음성을 학습하기도 한다.

최근 통역 수준을 크게 끌어올린 기술로 ‘인공 신경망 번역(NMT)’이 꼽힌다. 일상생활에서 이뤄지는 대화를 통역할 때는 단순히 단어의 뜻을 일대일로 번역하는 것보다 맥락에 맞는 통역을 제공하는 기술이 필수적이다. NMT는 AI를 활용해 문장을 통째로 외워서 번역하는 방식이다. 문장을 단어나 구(句)로 쪼개 통계적으로 가장 유사한 의미를 찾아 번역하는 종전 ‘통계 기반 번역(SMT)’의 한계를 극복했다는 평가를 받는다.

삼성전자가 갤럭시 AI에 인도네시아어 통역 서비스를 출시할 때 이 같은 NMT 기술이 적용됐다. 세계 2억명 이상의 인구가 사용하는 인도네시아어는 관사와 복수형이 없고 동사 시제 변화도 없다. 이 때문에 배우기 쉬운 언어로 분류되지만 그만큼 맥락을 충분히 파악해야 정확히 이해할 수 있어 오히려 통·번역은 간단치 않다. 이 때문에 삼성전자는 인도네시아어 학습 과정에서 단어가 아니라 문장을 통째로 학습시켜 갤럭시 AI가 의사소통의 맥락과 규칙을 이해할 수 있도록 했다.

◇언어 특징별 맞춤형으로

언어별 특징에 맞는 학습법이 자연스러운 통역의 비결이다. 여섯 가지 성조를 가진 베트남어는 성조의 미세한 차이를 인식할 수 있도록 음성 데이터를 정교하게 다듬는 과정을 거친다. 예를 들어 베트남어 단어 ‘마(Ma)’는 성조에 따라 엄마(Má), 무덤(Mả), 귀신(Ma) 등 전혀 다른 의미를 지닌다. 삼성전자 베트남연구소 부이 응옥 뚱 프로는 “성조의 미세한 차이를 인식할 수 있도록 한 단어를 0.02초의 짧은 프레임으로 잘라내 이를 데이터베이스화했다”고 말했다.

문화와 국경을 넘는 협업 과정도 이뤄진다. 스페인어는 스페인을 포함해 아르헨티나·볼리비아 등 22국에서 공식어로 쓰지만 나라별로 다른 단어를 쓴다. 예를 들어 수영장은 멕시코에서는 ‘알베르카’로, 아르헨티나, 파라과이, 우르과이에서는 ‘필레타’로, 콜롬비아·볼리비아·베네수엘라에서는 ‘피시나’로 표현한다. 중남미 지역의 언어 모델 개발을 담당한 삼성리서치 브라질 연구소는 ‘갤럭시 AI’가 중남미 국가의 스페인어 차이를 이해할 수 있도록 각 국가의 오디오와 텍스트 등 방대한 양의 데이터를 수집해 학습했다.