‘독자 AI’ 도전장 던진 SKT, 340억개 매개변수 기반 ‘A.X 3.1’ 공개

추론모델 확장해 코드·연산 강화
학술연구·상업모델에 적극 활용
자체 LLM기술로 컨소시엄 꾸려

SKT LLM 개발 타임라인. SKT 제공

SK텔레콤이 “2018년부터 연구한 한국어 특화 AI 기술을 주축으로 AI 자립 실현에 나선다”고 밝혔다.

크고 작은 국내 인공지능(AI) 관련 기업들이 정부의 독자 AI 파운데이션 개발 프로젝트에 도전장을 내면서 ‘AI 대전’이 벌어진 가운데 SKT는 독자 기술 기반 모델, 외부 지식 학습을 적용해 병행 개발하는 ‘투 트랙’ 전략으로 기술력을 강화한다는 방침이다.

SK텔레콤은 24일 오픈소스 커뮤니티 허깅페이스에 독자 구축 거대언어모델(LLM)인 ‘에이닷 엑스(A.X) 3.1’을 공개했다고 밝혔다. 340억개(34B)의 매개변수를 기반으로 하는 ‘A.X 3.1’은 SKT가 모델의 처음 단계부터 직접 구축하는 ‘프롬 스크래치’ 방식으로 전 단계를 직접 진행했다.

이번에 공개한 A.X 3.1은 ‘A.X 3.0’의 개선된 버전이다. 이전 버전이 한국어 대화 성능에 집중했다면 3.1은 추론 모델 확장을 위해 코드와 수학 성능을 강화했다. 이로 인해 SKT는 프롬 스크래치 방식의 A.X 3.1 모델 2종(표준·경량)과 대규모 학습(CPT)에 기반한 A.X 4.0 모델 2종(표준·경량)까지 총 4개의 모델을 오픈소스로 공개했다. 이 모델들은 학술 연구나 상업 이용 등에 활용 가능하다.

SKT는 2019년 국내 최초 한국어 딥러닝 언어 모델인 ‘KoBERT’를 자체 개발해 공개하고 고객센터 챗봇 등에 적용했다. 한국어의 조사, 어순, 띄어쓰기 등 언어 구조를 반영해 문맥 이해와 의미 분석을 높인 것이 특징이다. 이후 뉴스, 문서 요약에 특화된 ‘KoBART’ 출시까지 자연어 처리 역량 향상에 나섰다.

2022년에는 자체 개발한 ‘GPT-3’ 기반 한국어 특화 버전을 자사 ‘에이닷’ 서비스에 적용했다. 이어 감성 대화에 특화된 ‘A.X 1’, 복잡한 문맥 이해와 지식 기반 응답이 가능한 ‘A.X 2’, 340억(34B) 파라미터의 표준형과 70억(7B) 파라미터의 경량형으로 구성된‘ A.X 3.0’을 선보였다. 이는 에이닷 전화 통화 요약 기능, AI 에이전트 기능에 적용됐다.

SKT는 에이닷 엑스를 독자 기술을 바탕으로 한 프롬 스크래치 모델과 외부 지식 학습을 적용한 대규모학습(CPT) 방식 등 투 트랙 전략을 구사하고 있다. CPT 방식 적용은 이달 공개한 ‘A.X 4.0’이 대표적이다. A.X 3.1은 자사 A.X 4.0와 비교할 때 절반 이하의 매개변수로 구성됐지만, 같은 한국어 서비스에 적용될 경우 약 90% 수준의 성능을 발휘한다. A.X 3.1과 4.0 중에서 사용 환경에 더 적합한 성능과 효율을 고려해 선택할 수 있다.

SKT는 그간 확보한 LLM 기술 역량을 바탕으로 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델 사업’에 크래프톤, 포티투닷, 리벨리온, 라이너, 셀렉트스타, 서울대학교 연구실·KAIST 연구진 등과 컨소시엄을 꾸려 참여한다.

SKT 컨소시엄은 자체 개발 LLM인 A.X와 각 참여사가 보유한 자체 LLM 및 데이터 등을 기반으로 해 대독자 파운데이션 신규 모델을 만들어갈 계획이다. 텍스트뿐 아니라 이미지, 음성, 비디오 등 다양한 데이터를 통합적으로 처리할 수 있는 ‘옴니모달’ 기술을 적용해 초거대 AI 모델 개발에 도전한다.

김태윤 SK텔레콤 파운데이션 모델 담당은 “각 분야 선도기업들과의 컨소시엄 구성으로 향후 소버린 AI 분야에서 새 성과를 만들어낼 것”이라며 “국내 AI 생태계를 종합적으로 고려해 혁신적인 AI 모델을 선보일 계획”이라고 말했다.

김나인 기자 silkni@dt.co.kr