통신 특화 똑똑한 LLM 나온다… SKT, 'AI 멀티엔진' 본격 시동

AI 고객센터, 유통망, 네트워크 운용 등 다양하게 활용 가능
오픈AI·앤트로픽과 협력… 멀티LLM 전략 추구

SK텔레콤은 6월까지 5G 요금제, T멤버십, 공시지원금 등 국내 통신 전문 용어와 AI 윤리가치 등 통신사 내부 지침을 학습한 '텔코LLM(통신사 특화 거대언어모델)' 개발을 완료할 예정이라고 30일 밝혔다. 사진은 정민영 SKT AI플랫폼 담당이 기자 설명회에서 인텔리전스 플랫폼 관련 발표하는 모습. /사진=임한별 기자

SK텔레콤이 통신사 특화 거대언어모델(LLM)을 내놓는다. 오는 6월 중 한국형 텔코LLM 개발을 완료하고 향후 글로벌 버전까지 선보이겠다는 계획이다.

SK텔레콤은 30일 서울 중구 SKT 타워에서 기자설명회를 열고 이같이 밝혔다. 텔코LLM의 자체 평가와 사전 테스트 등을 거쳐 연내에는 SK텔레콤 고객센터부터 차례로 적용할 수 있을 것으로 기대하고 있다.

텔코LLM은 통신사를 뜻하는 '텔코'와 거대언어모델을 의미하는 'LLM'의 합성어다. 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치 같은 통신사의 내부 지침을 학습하고 있다.

SK텔레콤은 협력을 통해 자사LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 텔코LLM을 개발 중이다. 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된LLM을 가져다 쓸 수 있게 하는 '멀티LLM' 전략이다.

에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 "한 개의 범용LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

텔코LLM은 범용LLM 대비 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있다는 것이 특징이다. SKT는 텔코LLM의 정확성과 범용성을 높이기 위해 데이터센터 구축과 파인튜닝(미세조정) 과정, 휴먼 피드백 기반의 강화 학습(RLHF), 최종 벤치마킹(모델 평가) 등의 작업을 이어가고 있다.

범용LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 실제 텔코LLM이 답변한 내용에 대한 상담사들이 품질, 만족도 등을 평가하는 방식이다. 마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다. 이 모든 과정은 계속 주기적으로 반복하여 텔코LLM을 더 똑똑하게 만든다.

현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데, 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 기대된다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라뿐 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속해서 텔코LLM을 활용한 활용 사례를 늘려갈 계획"이라고 설명했다.

한편 SKT는 통신사가 생성형 AI 앱을 쉽게 구축할 수 있게 돕는 '인텔리전스 플랫폼'도 공개했다. 이 플랫폼은 일종의 기업용 AI 개발·운용 패키지다. 통신업에 특화한 다양한 LLM을 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트 등에 쉽고 효율적으로 사용할 수 있다. 글로벌 통신사는 물론 통신사와 상담 업무 등 업무 특성이 비슷한 기업들이 이 플랫폼을 활용할 수 있다.

이재현 기자 jhyunee@mt.co.kr