SK텔레콤, 'AI 멀티엔진' 곧 공개…'텔코LLM' 나온다
이용자 상담·인프라 운용부터 마케팅·유통까지 공략
통신에 특화한 인공지능(AI) 멀티엔진이 올해 상반기 중 공개된다. 오픈AI의 GPT, 앤트로픽의 클로드와 같은 범용 LLM(거대언어모델)이 아니라 통신업에 특화한 모델이다.
통신데이터로 특화…파인튜닝·강화까지
SK텔레콤은 5G(5세대 이동통신) 요금제, T멤버십, 공시지원금 등 국내 통신용어와 AI 윤리가치 등 통신사의 내부 지침을 학습한 '텔코LLM'을 오는 6월 개발을 완료할 예정이라고 30일 밝혔다.
현재 오픈AI, 앤트로픽 등과 협력해 통신사의 서비스와 상품, 멤버십 혜택, 이용자 상담 패턴 등 방대한 양의 데이터를 수집, 선별하고 이를 A.X(에이닷엑스), GPT, 클로드에 학습시켜 통신에 특화한 LLM을 만들고 있다. 이를 통해 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있도록 한다는 계획이다.
에릭 데이비스 SK텔레콤 AI테크콜라보레이션(Tech Collaboration) 담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하기는 쉽지 않다"며 "통신데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고, 이를 상황에 맞게 골라 쓸 수 있도록 한 것"이라고 말했다.
앞서 오픈 AI도 이달 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개했다. 그러면서 "SK텔레콤과 협력해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"고 특정 산업 파인튜닝의 대표 사례를 언급했다.
텔코LLM은 범용LLM 대비 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다. 실제 범용LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 이용자 요구에 대응하기 어렵다.
이때 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다. 이를 거친 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다.
이후에는 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 벤치마킹을 진행한다. 예를 들어 요금제 문의나 부가서비스 변경 요청 상담에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 파인튜닝 과정을 통해 계속 고도화하는 것이다.
"윤리도 학습…욕설 뉘앙스까지 파악"
현재 국내 통신사가 이용자 상담전화 한 건을 처리하기 위해서는 이용자 상담에 약 3분, 상담 후 업무처리에 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 통화하는 동안 LLM이 상담사에게 해결책을 제공하고 상담 내용을 요약해주는 등 시간을 단축할 수 있다.
텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 학습하고 있다. 이 경우 AI가 신조어, 욕설, 폭언 등의 문맥이나 뉘앙스를 정확하게 파악해 대응할 수 있는 장점이 있다.
통신사의 네트워크 인프라 운용에도 유용하다. 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있기 때문이다. 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 줄여준다.
SK텔레콤은 향후 인프라 운용 중에 발생하는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.
통신사가 직접 생성형 AI앱 구축
SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.
인텔리전스 플랫폼은 단일 LLM에 의존하지 않는다. 범용 LLM은 성능에 비례해 추론 비용이 많이 들고 특정 영역에 대한 이해도는 낮을 수 있다. 이를 통신사의 서비스에 적용하면 비효율적인 만큼 상대적으로 통신업에 특화된 멀티 LLM을 이용해야 한다는 게 회사 측의 설명이다.
SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재 A.(에이닷) 등의 서비스 등에 적용 중이며, 그 사례를 지속 확대할 예정이라고 밝혔다. 멀티 LLM은 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 활용할 수 있는 범위가 넓다.
정민영 SK텔레콤 AI플랫폼 담당은 "이용자 상담, 인프라뿐만 아니라 마케팅·유통망 등 이용자 접점이나 법무, 인사와 같은 사내 업무까지 텔코LLM이 업무 효율성을 높일 것"이라며 "인텔리전스 플랫폼을 통해서는 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것"이라고 기대했다.
한수연 (papyrus@bizwatch.co.kr)
ⓒ비즈니스워치의 소중한 저작물입니다. 무단전재와 재배포를 금합니다.
Copyright © 비즈워치. 무단전재 및 재배포 금지.