오픈AI의 대화형 인공지능(AI) 챗봇 '챗GPT'의 등장으로 기업들이 생성형AI의 활용 가능성을 모색하고 있다. 이중 고객 관리·응대가 무엇보다 중요한 B2C(기업소비자간거래) 기업들은 생성형AI를 상담 어시스트(고객 상담 챗봇)에 적용해 업무 효율을 높이려는 시도를 하고 있다. SK브로드밴드(SKB)는 최근 아마존웹서비스(AWS)의 생성형AI를 사용해 PoC(기술검증)를 진행했다. 아직 상용화할 수준은 아니지만 가능성은 찾았다는 판단이다.
권여울 SK브로드밴드 클라우드팀장과 전태일 SK브로드밴드 AI/DT 테크팀장은 지난 18일 서울 중구에 위치한 SK남산빌딩에서 <블로터>와 만나 회사의 차세대 생성형 AI 상담 어시스트 구축 전략에 대해 설명했다.
SKB는 아마존 세이지메이커 점프스타트(Amazon SageMaker JumpStart)를 활용해 회사의 AI 상담 어시스트를 개발했다. 아마존 세이지메이커 점프스타트는 사전에 구축된 머신러닝(ML) 솔루션을 활용해 생성형 AI를 쉽게 시작할 수 있는 ML 허브다. 기초 모델, 기본 제공 알고리즘과 사전 구축된 ML 솔루션이 포함돼 있다. 이용자는 ML 개발 도구를 사용해 자체 모델을 개발하고 배포·운영할 수 있다.
SKB는 sLLM(smaller Large Language Model)을 접목한 상담 어시스트의 PoC를 진행했다. sLLM은 파라미터(매개변수) 수가 70억~700억개 사이의 언어모델을 의미한다. 통상적으로 알려진 LLM(거대언어모델)인 챗GPT는 파라미터 수가 1750억개, 챗GPT4의 경우 1조개 이상이 예상되고 있다. 일반적으로 파타미터 수가 많을수록 AI 성능이 뛰어나다고 평가한다.
sLLM은 LLM보다 상대적으로 사이즈가 작으며 버티컬(특정 상품이나 서비스에 특화된 시장) 시장에 적합한 모델이다. 통신사, 금융사, 제조업체 등 사업자별로 필요한 특화 모델이 다르다. LLM을 사용하면 규모가 너무 크기 때문에 비용적인 측면에서 효과적으로 사용하기 어렵다. 최근에는 사이즈가 작은 sLLM을 사용해 기업의 서비스에 맞게 학습시켜서 사용하는 추세다.
권 팀장은 “초거대모델을 사용하면 우리가 도메인에 대한 데이터를 파인튜닝(학습된 AI 모델을 회사의 특성에 맞게 미세하게 조정하는 것)할 때 짧으면 3개월, 길게는 1년 이상이 걸릴수 있다”라며 “작은 언어모델의 장점을 살려서 기업 도메인에 특화된 모델을 만들 수 있는 가능성이 열렸다고 생각한다”고 말했다.
SKB는 자사의 MKIS(상담 지식 관리시스템) 데이터와 sLLM을 활용해 고객 상담 지원 서비스를 검증했다. MKIS의 데이터로 파인튜닝한 도메인에 최적화된 한국어 sLLM 모델로 훈련을 진행했다. SKB는 또 PEFT(파라미터 효율적 미세 조정) 모델과 RAG(검색 증강 생성) 모델의 결합을 통해 효율성을 높였다.
PEFT는 데이터에서 소수의 가중치만 추가로 학습하는 효율적 미세 조정 기법이다. RAG는 최신의 가장 정확한 정보를 바탕으로 언어모델의 정확도를 높이는 방식이다. PEFT 모델을 단독으로 사용할 경우 지속적인 파인튜닝이 필요하며 과거 데이터를 잊지 못한다는 단점이 있었다. 또 상담사가 원문위치, 첨부파일을 확인할 수 없었다. 여기에 RAG를 더하면 최신 데이터를 적용할 수 있고 보다 빠른 구현이 가능하며 검색된 정보를 상담사에게 보여줄 수 있다는 장점이 있다.
전 팀장은 “sLLM 모델에 대한 노하우를 경험해본 적이 없었는데, AWS에서 어떤 sLLM이 성능이 더 좋을지 제안해줬다”라며 “또 마지막 검증까지도 잘 지원해줘서 PoC가 원활하게 돌아갈 수 있었다”고 말했다.
다만 SK브로드밴드는 고객 상담 업무에서 생성형AI의 활용성이 기대되지만 아직은 상용화할 수준은 아니라고 평가했다. 고객 상담 업무는 정확성이 무엇보다 중요하기 때문에 아직 생성형AI의 할루시네이션(거짓정보)을 통제하기까지 기술적 검증과 발전이 필요하다는 설명이다.
권 팀장은 “CS(고객 서비스) 업무는 발언 하나하나가 다 정확해야 하기 때문에 할루시네이션에 더 민감하다”며 “기업들도 보다 회사에 버티컬하게 맞추기 위해 모델을 학습시키고 있지만 아직까지는 초보적인 단계로 알고 있다”고 설명했다.
이어 “이를 잘 활용하기 위해서는 도메인에 맞는 학습 데이터가 많아야 하고 데이터의 퀄리티도 좋아야 하며, 이것들로 도메인에 특화된 모델이 충분히 학습돼야 한다”며 “100% 상용화는 아니지만 상담을 보조하는 수단으로서의 고객 상담 어시스트는 2~3년이면 가능하지 않을까 예상한다”고 덧붙였다.
SK브로드밴드는 내부적으로 생성형AI를 사용하려는 시도를 지속적으로 추진할 계획이다. 권 팀장은 “고객 상담같은 경우는 완전 무결해야 하는 서비스이기 때문에 아직까지 생성형AI를 도입하긴 이르다고 생각한다”면서도 “대신 검색이나 추천 서비스처럼 오차에 대해 조금의 융통성이 발휘될 수 있는 영역에서 생성형AI를 접목하려는 시도를 하고 있다”고 설명했다.
SK브로드밴드는 AWS와의 협력에서도 많은 인사이트를 얻었다고 말했다. 권 팀장은 “AWS가 가진 기업 문화나 생태계 기반의 서비스가 제공되는 것이 장점이라고 생각한다”며 “생태계를 만들고 잘 구축하다보니 활용할수 있는 툴(도구)의 개수도 상대적으로 많다는게 AWS의 장점”이라고 말했다.
전 팀장은 아마존 세이지메이커 점프스타트의 편의성에 대해 언급했다. 그 “데이터만 준비되면 그 환경 안에서 결과값을 구현하고 테스트해볼 수 있는 환경이 잘 구성돼 있어 PoC를 원활하게 진행할 수 있었다”고 말했다.
Copyright © 블로터