엔비디아 인공지능, KT 스마트스피커·콜센터로 훈련

기사내용 요약
KT, 엔비디아 AI로 훈련된 10억 매개변수의 대규모 언어 모델 구축

[서울=뉴시스] 오동현 기자 = 엔비디아(NVIDIA)가 자사 인공지능(AI)으로 KT의 스마트 스피커와 고객 콜센터를 훈련했다고 22일 밝혔다.

국내 AI 음성비서 기가지니는 매일 800만 명의 사용자와 대화한다.

기가지니는 TV를 제어하는 등 집안에서의 다양한 역할을 지원한다. 대형의 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측 및 생성할 수 있는 머신러닝 알고리즘인 대형언어 모델(LLM) 덕분에 복잡한 한국어 대화 기술을 숙달했다.

KT의 모델은 엔비디아 DGX 슈퍼POD 데이터 센터 인프라 플랫폼과 네모메가트론(NeMo Megatron) 프레임워크를 사용해 수십억 개의 매개변수를 가진 LLM을 훈련하고 배포한다.

2200만 명이 넘는 가입자를 보유한 KT는 자체 LLM을 개발해 스마트 스피커의 단어에 대한 이해도를 높였다. 또한 2000억 개 이상의 매개변수를 가진 적용 분야 별 최적화된 다양한 버전의 LLM들을 사업에 적용하고 있다. 더불어 기가지니는 아마존 알렉사와의 통합을 통해 사용자와 영어로 대화할 수 있다.

류휘정 KT LLM 개발팀장은 “트랜스포머기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 AI 컨택센터(AICC)의 품질이 크게 향상됐다”고 말했다.

AICC는 AI 음성 에이전트 및 기타 고객 서비스 관련 애플리케이션을 제공하는 올인원 클라우드 기반 플랫폼이다.

AICC는 전화를 받고 요청된 정보를 제공하거나 고객을 상담원과 빠르게 연결해 보다 자세한 문의에 대한 답변을 제공할 수 있다. KT에 따르면 인간의 개입이 없이 AICC는 매일 전국적으로 10만 건 이상의 전화를 관리하고 있다.

류 팀장은 “기가지니는 LLM을 통해 언어 이해도를 높이고 인간과 유사한 문장을 더 많이 생성할 수 있으며, AICC는 문의 유형을 더 빠르게 요약하고 분류해 상담 시간을 15초 단축할 수 있다”고 설명했다.
LLM을 개발하는 것은 심도 있는 기술 전문 지식과 전체 스택 기술 투자가 필요한 과정이다. 엔비디아 AI 플랫폼은 KT를 위해 이 과정을 간소화하고 가속화했다.

KT는 엔비디아 트리톤 추론서버(Triton Inference Server)를 사용해 최적화된 실시간 추론 서비스를 제공하고, 엔비디아 베이스 커맨드매니저(Base Command Manager)를 통해 AI 클러스터에서 수백 개의 노드를 쉽게 모니터링하고 관리할 계획이다.

류 팀장은 "LLM 덕분에 KT는 경쟁력 있는 제품을 그 어느 때보다 빠르게 출시할 수 있게 됐다. 또한 우리 기술이 타사의 가치를 높이고 혁신적인 제품을 만드는 데 사용될 수 있기 때문에 타사의 혁신을 주도할 수 있다고 믿는다"고 밝혔다.

KT는 오는 11월 개발자를 대상으로 20여종의 자연어 이해와 자연어 생성 API(애플리케이션 프로그래밍 인터페이스)를 출시할 예정이다. 문서 요약 및 분류, 감정 인식 및 잠재적으로 부적절한 내용의 필터링을 포함한 작업에 사용할 수 있다.

☞공감언론 뉴시스 odong85@newsis.com