SKT, 통신업무 특화 '텔코 LLM'으로 승부수

내달 개발 완료…연내 서비스
요금제 등 통신업무에 최적화
고객상담 등 업무효율성 기대

에릭 데이비스 SK텔레콤 AI테크컬래버레이션 담당(왼쪽)과 정민영 AI플랫폼 담당이 지난달 30일 열린 기자설명회에서 질문에 답하고 있다. /SK텔레콤 제공

SK텔레콤의 통신사 특화 대규모언어모델(LLM)이 다음달 베일을 벗는다. 이 회사는 특화 LLM을 연내 자사 통신 서비스에 접목할 계획이다. 해외 통신사를 위한 글로벌 버전도 준비 중이다.

13일 정보통신기술(ICT)업계에 따르면 SK텔레콤은 다음달 말까지 ‘텔코(Telco·통신사) LLM’ 개발을 완료할 예정이다.

텔코 LLM은 통신 요금제, 멤버십, 공시지원금 등 국내 통신 전문 용어와 인공지능(AI) 윤리가치 같은 내부 지침을 학습한 통신업 특화 LLM이다. 오픈AI의 GPT, 구글의 제미나이 등 범용 LLM은 통신사의 번호이동 방법과 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천과 같은 고객 요구에 제대로 대응하기 어렵다.

SK텔레콤은 자체 개발한 에이닷엑스를 비롯해 GPT, 앤스로픽의 클로드 등 다양한 파운데이션 모델을 파인튜닝했다. 업무 분야와 용도에 따라 다른 LLM을 활용하는 ‘멀티 LLM’ 전략을 통해 비용을 절감하고 성능을 높였다는 설명이다.

에릭 데이비스 SK텔레콤 AI테크 컬래버레이션 담당은 “한 개의 범용 LLM으로 다양한 문제를 해결하기 어렵다”며 “통신 데이터와 업무 노하우에 맞춰 파인튜닝과 모델평가(벤치마킹)를 거쳐 상황에 맞게 골라 쓸 수 있는 다양한 텔코 LLM을 개발했다”고 설명했다.

SK텔레콤은 올해 자사 고객센터에 텔코 LLM을 적용하고 다른 분야로 확대한다. 현재 고객센터에서 상담 전화 한 건을 처리하려면 평균적으로 고객 상담 3분, 상담 후 업무 처리에 30초가 걸린다. 텔코 LLM을 도입하면 상담사가 고객과 전화하는 동안 AI가 해결책을 상담사에게 제공하고 상담 내용을 요약하는 등 업무 시간을 줄여줄 것이란 설명이다. 네트워크 인프라 운용에도 텔코 LLM을 쓸 수 있다. 네트워크 모니터링 중 문제가 발생하면 텔코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 곧바로 제공한다.

정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라뿐만 아니라 법무, 인사 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것”이라며 “텔코 LLM의 활용 사례를 늘려가겠다”고 말했다.

SK텔레콤은 다른 통신사가 생성형 AI 서비스를 쉽게 구축하게 돕는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM부터 텍스트, 이미지 등 다양한 데이터를 다룰 수 있는 멀티모달 AI, 서비스 관리와 배포·확장 등에 필요한 오케스트레이션, LLM의 환각 현상을 막을 수 있는 검색증강생성(RAG) 등을 아우르는 기업용 AI 개발·운용 패키지다. 이를 활용해 다른 통신사들이 고객센터 콜봇·챗봇, 유통 채널 어시스턴트 등을 개발해 자사 서비스에 접목할 수 있다는 설명이다. 텔코 LLM과 마찬가지로 동맹 관계인 다른 통신사에도 보급한다는 목표다.

SK텔레콤 관계자는 “범용 LLM은 성능에 비례해 추론 비용이 많이 들고 특정 영역에 대한 이해도는 낮을 수 있다”며 “이를 통신사 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화한 멀티 LLM이 필요하다”고 설명했다. SK텔레콤은 자사 AI 비서인 에이닷 등의 서비스에 인텔리전스 플랫폼을 활용 중이다. 추후 적용 사례를 늘릴 방침이다.

이승우 기자 leeswoo@hankyung.com