긴 문서도 ‘척척’…SKT, 자체 LLM 기반 멀티모달·문서해석 기술 공개

SK텔레콤은 자사 거대언어모델(LLM) '에이닷 엑스'(A.X)를 기반으로 한 시각-언어모델(VLM1)과 LLM 학습을 위한 범용 문서 해석 기술을 선보였다고 29일 밝혔다. 이로써 SKT가 이달 선보인 모델은 총 6개로 늘었다.

이날 SKT가 오픈소스 커뮤니티 허깅페이스에 공개한 모델은 'A.X 인코드'(Encoder)와 'A.X 4.0 비전 랭귀지 라이트'(VL Light) 2종이다. 이 모델들은 학술 연구나 상업 이용 등에 활용 가능하다.

'A.X 인코더'는 1억4900만개(149M)의 매개변수를 바탕으로 작동한다. 자연어 이해 성능지표 평균 85.47점을 달성했다. 자연어처리 기술에서 인코더란, 입력된 문장을 문맥으로 변환하고 이를 바탕으로 다양한 자연어 처리 작업을 수행하도록 돕는 핵심 구성요소다.

A.X 인코더는 1만6384개의 토큰까지 처리가 가능해 기존 모델들보다 최대 3배의 추론속도와 2배의 학습속도를 구현할 수 있다. 통상적으로 기존 모델들이 512개의 토큰을 처리했다. 긴 문서도 빠르고 효율적으로 처리 가능해 대규모 LLM 학습에 적합하다.

'A.X 4.0 VL 라이트'는 대규모 멀티모달 한국어 데이터셋이 학습된 시각-언어모델(VLM)이다. 70억개(7B) 매개변수의 A.X 4.0 라이트 모델을 기반으로 개발됐다. 한국어 시각 벤치마크에서는 평균 79.4점을 기록해 중국 큐원 '2.5-VL32B'(73.4점)보다 작은 모델 크기에도 우수한 성능을 보였다. 한국어 텍스트 벤치마크에서는 평균 60.2점을 기록해 국내 모델 중에서 최상위권에 포진했다. 한국어와 관련된 시각정보 및 언어 이해뿐 아니라 표·그래프 이해, 제조 도면 이해와 같은 기업용 애플리케이션에도 활용할 수 있다.

김태윤 SK텔레콤 파운데이션 모델 담당은 "독자적인 기술력 확보가 소버린 AI의 핵심인 만큼 자체 역량을 높이고 컨소시엄 기업들과의 협업에도 박차를 가해 글로벌 최고 수준의 AI 경쟁력을 확보할 것"이라고 말했다.

김나인 기자 silkni@dt.co.kr

T타워 전경.