SKT "통신 특화 LLM, 6월 개발완료…연내 고객센터부터 적용"(종합)

"한국어 버전 서비스 먼저…글로벌 버전 추후 집중"
인텔리전스 플랫폼도 공개…RAG로 시차 오류도 줄여

(서울=뉴스1) 양새롬 기자 = SK텔레콤(017670)이 5G 요금제와 공시지원금 등 국내 통신 용어와 인공지능(AI) 윤리가치 등을 학습한 '통신사 특화 거대언어모델(텔코 LLM)'을 6월 중 개발 완료한다.

이후 자체 평가와 테스트 등을 거쳐 연내 SK텔레콤 고객센터부터 차례로 적용될 예정이다.

SK텔레콤은 30일 서울 중구 SKT 타워에서 설명회 기자설명회를 열고 이같이 밝혔다.

이를 위해 SK텔레콤은 오픈 AI, 앤트로픽 등과 협력해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 정형·비정형 데이터를 선별했다.

이를 자사의 에이닷엑스, 오픈 AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델에 학습시킴으로써 통신에 특화된 LLM을 만들었다.

이같은 텔코 LLM은 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다는 게 SK텔레콤의 설명이다.

기존 범용 LLM이 요금제 추천 같은 고객 요구에 제대로 대응하지 못했다면, 여기에 통신 관련 데이터를 추가로 학습해 문제를 해결하는 과정이 텔코 LLM의 파인튜닝이다.

이후 실제 텔코 LLM이 답변한 내용과 관련해 상담사들이 품질, 만족도 등을 평가하는 과정(휴먼 피드백 기반 강화학습)을 거친다.

마지막으로는 텔코 LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등을 두고 모델평가(벤치마킹)를 한다.

SK텔레콤 측은 "이 모든 과정을 주기적으로 반복해 텔코 LLM을 더 똑똑하게 만든다"고 설명했다.

현재 고객센터에서는 고객 상담 1건에 약 3분, 상담 후 업무 처리에 30초 이상이 소요되는데 텔코 LLM을 도입하면 이 시간을 크게 단축시켜 줄 수 있을 것으로 회사 측은 기대했다.

SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코 LLM을 확대 적용할 계획이다.

에릭 데이비스 SK텔레콤 AI 테크 콜라보레이션 담당은 "텔코 LLM은 한국어 버전 서비스를 먼저 시작하고, 해외 기업들과 글로벌 버전에 집중하게 될 것"이라고 소개했다.

한편 SK텔레콤은 통신사들이 생성형 AI 애플리케이션(앱)을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다.

이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 기업용 AI 개발·운용 패키지다.

정민영 SK텔레콤 AI플랫폼 담당은 "결국 LLM은 기존에 학습된 시점까지의 데이터만 알기 때문에 업데이트 되는 내용과의 시차가 존재한다"며 "이때 RAG를 통하면 신뢰할 수 있는 답변을 얻을 수 있다"고 강조했다.

또 LLM을 통한 모니터링으로 고객이 문제시되는 발언을 했을 경우 적절한 시점에 상담에 개입해 상담사를 보호조치할 수 있을 것이라고도 내다봤다.

SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.

SK텔레콤 측은 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것"이라고 기대했다.

flyhighrom@news1.kr

IT