플리토-트위그팜, AI 번역기 품질 평가 데이터 구축한다

'다국어 번역 품질 평가 데이터' 사업 컨소시엄 참여
플리토 플랫폼 기반 고품질 다국어 데이터 구축

플리토는 한국지능정보사회진흥원(NIA)가 주관하는 '다국어 번역 품질 평가 데이터' 사업 컨소시엄에 참여한다고 7일 밝혔다. (사진=플리토 제공) *재판매 및 DB 금지

[서울=뉴시스] 오동현 기자 = 인공지능(AI) 언어 데이터 전문기업 플리토가 자연어처리 전문기업 트위그팜과 함께 AI 번역기 품질 평가를 위한 데이터를 공동 구축한다고 7일 밝혔다.

플리토는 한국지능정보사회진흥원(NIA)가 주관하는 '다국어 번역 품질 평가 데이터' 사업 컨소시엄에 참여한다. 주관사 트위그팜을 비롯해 플리토, 시스트란, 글나무, 에퀴코리아, 푸르모디티가 참여하는 사업이다.

컨소시엄은 올 연말까지 ▲언어별 저작권 이슈 없는 신규 문서 확보 ▲언어별 번역 말뭉치 데이터 및 번역 품질 평가 데이터 구축 ▲데이터 및 구축 공정 품질관리 및 데이터 품질 검증 수행을 통한 고품질 데이터셋 구축 등을 수행할 계획이다.

글로벌 빅테크들의 생성형 AI 서비스 출시와 국내외 대기업들의 초거대 AI 투자가 본격화되는 가운데, AI의 성능과 직결되는 고품질 데이터 구축과 기존 데이터의 품질 평가 시스템의 중요성이 대두되고 있다. 특히 언어권별 학습 데이터 수의 큰 격차를 극복하기 위해 기계번역(MT) 성능의 고도화는 필수인데, 지금까지는 '블루 스코어(BLEU Score)'와 같이 사람의 번역과 기계번역 결과 간 '단어 유사도' 측정에 한정된 평가 기준으로 한계가 있었다.

이러한 한계를 극복하고 고품질의 대규모 병렬 말뭉치(코퍼스) 데이터를 구축하고자 트위그팜은 통합 크라우드소스 플랫폼을 운영하는 플리토와 손잡았다. 전 세계 약 1300만 이용자의 플랫폼을 통해 양질의 최신 언어 데이터 확보가 가능하고, 저작권 문제없는 적법성이 확보된 데이터 구축이 가능하다는 점에서 최적의 파트너라는 것이 트위그팜측 설명이다.

트위그팜은 자체 AI 엔진과 플랫폼 번역가, 검증된 링귀스트팀을 모두 운영하면서 '국립국어원 한국어-외국어 병렬 말뭉치 구축 사업'을 3년 연속 수주한 플리토의 데이터 사업 경쟁력을 바탕으로 이번 사업의 성공적 완수를 위해 긴밀하게 협업하겠다는 입장이다.

백선호 트위그팜 대표는 "지금까지 정부 주도의 대규모 말뭉치 데이터 구축이 지속되고 있었지만 정작 데이터의 품질을 평가하는 기술에는 다소 한계가 있었다"며 "초고품질 다국어 데이터 구축 및 품질 평가를 통해 초거대 AI 환경 조성에 기여하겠다"고 포부를 밝혔다.

이정수 플리토 대표는 "이번 수행 과제에 자사의 글로벌 통합 플랫폼을 활용할 수 있게 돼 기쁘다. 플리토가 저작권 이슈 없는 고품질 다국어 데이터 구축에 차별적 경쟁력을 보유하고 있는 만큼, 사업의 성공적 완수를 위해 최선을 다하겠다"고 말했다.

☞공감언론 뉴시스 odong85@newsis.com