"이것 없으면 이제 일 못해"...기업 경영 필수템 된 'AI 챗봇'

[테크업팩토리] '팔방미인' 기업용 AI 챗봇

[편집자주] '테크업팩토리'는 스타트업과 투자업계에서 가장 '핫'한 미래유망기술을 알아보는 코너입니다. 우리의 일상과 산업의 지형을 바꿀 미래유망기술의 연구개발 동향과 상용화 시점, 성장 가능성 등을 짚어봅니다.

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]

/사진='마이크로소프트 디자이너' 생성 이미지

기업 내 AI(인공지능) 활용은 이미 일상이다. 마이크로소프트(MS)의 의뢰로 에델만 데이터인텔리전스가 올해 초 지식근로자 3만1000명을 대상으로 진행한 설문조사에서 전체 75%가 AI를 업무에 활용하고 있다고 답했다. 전 세계 지식근로자 4명 중 3명은 AI를 쓰는 셈이다. 회사를 이끄는 임원 중 79%는 회사가 경쟁력을 갖추기 위해서는 AI를 적용해야 한다고 응답했다.

기업이 AI 도입에 적극적인 이유는 하나다. 업무 효율성 강화를 위해서다. MS의 기업용 AI 챗봇 비서 '코파일럿'을 이용했을 때 기존보다 20% 많은 문서를 처리할 수 있다. 이메일을 읽는 시간도 크게 단축시켰다. 코파일럿을 이용했을 때 기존보다 이메일이 읽는 시간이 45% 줄었다.

기업용 AI 챗봇 수요가 늘어나면서 해당 시장을 둘러싼 각축전이 벌어지고 있다. 루나소프트, 채널코퍼레이션, 스켈터랩스, 랭코드 등 경쟁이 치열한 만큼 기술 발전도 빠르다.

━

클릭 한번에 메일 요약·보고서까지…"핵심은 시스템 연동"

━

/그래픽=김현정 디자인기자

기업용 AI 챗봇은 크게 임직원용과 고객용으로 나눌 수 있다. 임직원용 AI 챗봇은 여러 업무를 보조하는 역할을 한다. MS의 코파일럿이 임직원용 AI 챗봇에 속한다. 긴 이메일을 요약해서 읽어주고, 어디 있는지 모를 회사 내규까지 척척 찾아서 전달한다. 보고서 초안까지 작성해준다.

현대모비스 '마이봇'(Maibot), 삼성중공업 '에스봇'(SBOT), 현대백화점 '루이스', 한화 '아이다'(AIDA) 등 여러 대기업에서 이미 임직원용 AI 챗봇을 적용해 사용하고 있다. 이들은 자체적으로 AI 챗봇을 개발하기도 하지만 대부분 전문성을 갖춘 외부 기업에 구축을 맡긴다.

국내에서는 랭코드, 스켈터랩스, 올거나이즈 등이 대표적인 임직원용 AI 챗봇 개발사다. 기본적으로 이들 개발사 모두 LLM(거대언어모델)을 기반으로 임직원들이 요구한 사항을 해석한다는 점에서는 같다. 차별점은 얼마나 사내 시스템과 잘 연동돼 업무에 직접적인 도움이 되는가다.

예를 들어 HR(인사관리) 담당자가 회사 내규를 확인하기 위해서 AI 챗봇에 문의한다. 이때 사내 인사 관련 시스템과 AI 챗봇이 제대로 연결돼 있지 않으면 제대로 된 역할을 하기 어렵다.

김민준 랭코드 대표는 "기존 1세대 AI 챗봇이 이용자와 단순히 대화하는 수준에 머물렀다면 2세대 AI 챗봇은 개발자가 사전에 짜놓은 프로세스에 맞춰 대응했다"며 "3세대 AI 챗봇은 이용자와의 대화 속에서 AI가 스스로 필요한 부분을 인지하고, 시스템에서 찾아온다"고 말했다.

그러나 AI 챗봇이 처음부터 스스로 사내 시스템에서 필요한 정보를 찾아내기란 쉽지 않다. AI 챗봇을 학습시켜야 한다. 문제는 폐쇄적인 기업 시스템 환경이다. 내부정보 유출 우려 때문이다. 김 대표는 "외부 학습데이터를 이용해 임직원용 AI 챗봇을 교육시키는 건 비용적, 보안적인 측면에서 어렵다"며 "주어진 환경에서 얼마나 실시간 학습을 잘 할 수 있는지가 중요하다"고 말했다.

━

더 사람 같은 고객용 AI 챗봇…'환각' 없애주는 RAG 기술 주목

━

/그래픽=이지혜 디자인기자

정보 보안과 시스템 연동이 중요한 임직원용 AI 챗봇과 달리 고객용 AI 챗봇에게 중요한 건 고객의 말귀를 얼마나 잘 알아 듣느냐다. 정형화된 사내 커뮤니케이션 방식과 달리 일반 고객들은 반말과 존댓말을 섞어쓰고, 다양한 단어를 사용한다. 같은 문장이라도 뉘앙스가 다른 경우가 많다.

기존 고객용 AI 챗봇은 룰베이스 기반 NPL(자연어 처리) 기술을 적용해 고객에게 필요한 정보를 연결해주는 역할을 했다. 예를 들어 반품 상황을 알려달라고 요청하면, 반품 검색이 가능한 페이지를 연결해주는 방식이다. 반품 상황까지 전달해주는 진짜 고객 상담원과는 차이가 있다.

좀 더 실제 고객 상담원에 가까운 AI 챗봇을 만들기 위해 루나소프트, 엠비아이솔루션, 채널코퍼레이션 등 주요 기업들은 최근 룰베이스 기반에서 LLM 기반으로 서비스를 전환하고 있다. 그러나 LLM 기반으로 전환했을 때 발생하는 문제가 있다. 할루시네이션(환각) 현상이다.

이수용 엠비아이솔루션 전략기획 프로덕트오너(PO)는 "없는 말을 지어내거나 엉뚱한 답변을 하는 게 문제"라며 "특히, 고객 상담에서 잘못된 답변은 최악의 상황"이라고 말했다.

LLM은 방대한 데이터를 기반으로 답변한다. 그러나 LLM 스스로 답변에 대한 진실 여부를 판단하진 않는다. 이를 보완하기 위한 나온 기술이 검색증강생성(RAG)이다.

RAG는 이름처럼 검색, 증강, 생성하는 절차를 거쳐 답변을 만들어 낸다. 우선 대규모 구조화된 데이터베이스(DB)에서 주어진 질의에 대한 관련 정보를 검색한다. 이후 검색된 지식을 근거로 사실에 기반한 답변을 생성한다. 마지막으로 외부 지식을 통해 질의에 대한 배경 지식과 맥락 정보를 파악하고, 추론 능력을 바탕으로 답변을 생성한다. 외부 지식을 결합하는 게 특징이다.

RAG의 성능은 연결된 DB와 외부 지식의 품질과 범위에 크게 좌우된다. 고품질의 DB와 외부 지식을 구축하는 게 주요 과제다. 이 PO는 "DB 구축과 함께 또 중요한 건 고객에게 얼마나 정제된 답변을 끌어내느냐"라며 "일정한 톤 앤 매너((tone and manner)가 나오도록 프롬프트를 짜야 한다"고 말했다.

[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']

김태현 기자 thkim124@mt.co.kr