"요금제 상담도, 장비 장애 해결도 척척"…SKT '통신 특화 LLM' 6월 출시

[IT동아 권택경 기자] SK텔레콤이 통신업 분야 특화 대형언어모델(LLM)을 이르면 오는 6월 출시할 예정이다.

SK텔레콤(이하 SKT)은 서울 중구 을지로 T타워에서 기자설명회를 열고 ‘텔코LLM’을 개발 중이라고 30일 밝혔다. 텔코LLM은 5G 요금제, T멤버십, 공시지원금 등 우리나라 통신 전문 용어와 AI 윤리가치와 같은 통신사 내부 지침을 학습한 통신업 특화 LLM이다.

텔코LLM은 단일 LLM이 아닌 여러 범용 모델을 기반으로 튜닝한 이른바 ‘멀티 LLM 전략’을 적용한 게 특징이다.

왼쪽부터 에릭 데이비스 SKT AI 기술 협력 담당, 정민영 SKT AI 플랫폼 담당 / 출처=SK텔레콤

에릭 데이비스 SKT AI 기술 협력 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티 LLM 전략”이라고 설명했다.

이를 위해 SKT는 오픈AI, 앤트로픽 등과 협력해 통신사 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 데이터를 수집, 정형·비정형 데이터를 선별해 에이닷엑스, GPT, 클로드에 학습시켰다.

범용 모델과 비교했을 때 통신 서비스 관련 업무를 전문적으로 수행할 수 있고, 처리 속도나 비용 면에서도 더 효율적이라고 SKT 측은 설명했다. 원하는 서비스를 출시하는 데 필요한 소요 시간도 단축된다.

텔코LLM을 소개 중인 에릭 데이비스 SKT AI 기술 협력 담당 / 출처=IT동아

텔코LLM을 활용하면 범용 LLM으로는 정확한 처리가 어려웠던 다양한 통신사 업무 처리가 가능해진다고 SKT는 설명했다. 예를 들어 챗봇에 텔코LLM을 적용하면 요금제 관련 질문도 맥락을 정확히 파악하고, 고객 사용 이력이나 상황에 따라 적합한 상품을 추천한다.

SKT는 텔코LLM을 활용해 다양한 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 현재 SKT에서는 AI 개인 비서 서비스인 '에이닷(A.)'에 인텔리전스 플랫폼을 적용 중이다. 이외에도 다양한 분야로 적용 사례를 확대할 예정이라고 SKT는 밝혔다.

우선 연내 목표로 고객센터 상담 업무에 텔코LLM을 적용할 계획이다. 상담사가 필요한 내용을 텔코LLM에 물으면, 필요한 내용을 찾아 답변 내용을 알려준다. 상담 내용 요약, 후속 업무 목록 작성 등의 상담 후 처리도 텔코LLM이 대신한다. 답변을 생성하기 전 외부 데이터베이스를 참조하는 검색 증강 생성(RAG) 기술을 적용해 환각 현상이나 학습 시점에 따른 답변 오류도 줄였다. 예를 들어 LLM 학습 시점과 현재의 정책이 달라졌더라도 검색을 통해 최신 정보를 반영한 답변을 제시한다. SKT는 많은 경험과 교육이 필요했던 고객센터 업무를 텔코LLM으로 효율화할 수 있을 것으로 기대 중이다.

인텔리전스 플랫폼을 소개 중인 정민영 SKT AI 플랫폼 담당 / 출처=IT동아

네트워크 인프라 운용에도 텔코LLM를 활용할 수 있다. 장애가 발생했을 때 텔코LLM이 빠르게 문제를 확인하고, 해결 방안을 답변으로 제시한다. SKT는 사내 업무 보조 및 운영 지원 도구, 사업·기술 문서 초안 작성 및 교정 등 다양한 영역에서 텔코LLM을 활용할 수 있다고 소개했다.

정민영 SKT AI 플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 말했다.

SKT는 우선 6월 한국어 버전 텔코LLM 개발을 완료한 뒤 글로벌 버전에 집중할 계획이라고 밝혔다. 정민영 담당은 “통신업계는 전 세계적으로 공유하는 표준, 용어가 많아 텔코LLM의 글로벌 확장도 용이할 것으로 보고 있다”고 말했다.

글 / IT동아 권택경 (tk@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)