금융·법조·공공 분야 적용 시작된 AI 챗봇...치명적 맹점 ‘환각 현상’ 어떻게 해결했을까

/스켈터랩스

‘챗GPT’로 대표되는 생성형 인공지능(AI)의 최대 맹점은 정확한 답을 찾지 못할 경우 방대한 학습 내용 중에 비슷한 부분만 짜깁기해 잘못된 정보를 주는 환각((Hallucination) 현상이다. 산업 분야에서 활용하기엔 치명적인 약점이다. 그러나 최근 공공기관은 물론이고 정확한 정보가 중요한 금융과 법률 분야에서도 생성형 AI 챗봇을 적극 도입 중이다. ‘검색증강생성(RAG·Retrieval Augmented Generation)’ 기술을 활용해 환각 현상을 최대한 억제한 덕분이다.

RAG는 검색 결과를 활용해 새 콘텐츠를 생성하는 기술로, 답변 생성 전 언론사 뉴스나 자체 데이터베이스 등 신뢰할 수 있는 외부 지식 체계를 참조·반영해 답변의 정확성과 전문성을 높인다. 최근 많은 기관이 사용하는 AI 챗봇 상당수는 이 RAG 기술을 접목하고 있다.

빅케이스/로앤컴퍼니

법률 분야가 대표적이다. 온라인 법률 플랫폼 ‘로톡’을 운영하는 로앤컴퍼니는 최근 GPT-4 기반에 RAG 기술을 접목한 통합 법률정보 AI 시스템 ‘빅케이스GPT’를 선보였는데, 법률 정보에서만큼은 GPT-4보다 더 높은 정확도를 자랑했다. 440만건의 판례와 16만건의 법령·결정례·유권해석 등을 학습시킨 덕분이다. GPT-4와 빅케이스GPT로 국내 변호사시험 객관식 문항을 풀게 한 결과, 빅케이스GPT의 정답률(53.3)은 GPT-4의 정답률(34%)을 앞섰다. 또 다른 리걸테크 기업인 로앤굿 역시 지난해 10월 변호사용 AI 챗봇 시제품 ‘로앤봇’을 공개했다. 최근 5년간 개인정보 포털에 공개된 결정문과 가이드라인, 판례집 등을 학습시켜 국내법에 특화된 챗봇이다.

KB국민카드와 스켈터랩스가 개발한 AI 기반 이벤트 질의응답 서비스 'Q&AI'/KB국민카드

정보 민감성이 높은 금융 분야에서도 AI 챗봇을 적극 도입하고 있다. KB국민카드는 지난해 10월 수백 가지 이벤트 정보를 고객에게 찾아주고 설명해주는 이벤트 질의응답 서비스 ‘이벤트 Q&AI’를 내놓았다. AI 기업 스켈터랩스가 개발한 GPT 기반 챗봇 ‘벨라 큐나’에 KB국민카드의 기업 이벤트 정보를 연동하는 방식으로 만들어졌다. 매일 달라지는 최신 이벤트 정보를 쉽고 정확하게 찾기 위한 수단으로 RAG 기술을 활용한 것이다.

통계청이 올 하반기 도입 예정인 AI 챗봇/통계청

앞으로는 공공 사이트에서도 AI 챗봇을 활용해 원하는 정보를 더 쉽게 찾을 수 있을 전망이다. 통계청은 AI 통계 챗봇 서비스를 올 하반기 선보일 예정이라고 지난달 19일 밝혔다. 기존 국가통계포털(KOSIS) 챗봇 서비스의 경우 정확한 통계 용어를 사용하지 않으면 제대로 된 답변을 받기 어려웠다. 하지만 통계에 특화된 AI 챗봇을 통해 일상 언어로 물어봐도 AI가 맥락과 의도를 파악해 정확한 통계 정보를 알아서 찾아주는 검색 시스템을 구축하겠다는 것이다. 통계청은 언어를 이해하고 표현하는 능력은 민간의 검증된 거대 AI 언어모델을 활용하되 실제 정보를 검색하고 답변을 생성하는 부분은 통계학습 데이터베이스에서만 찾아오도록 설계한다는 계획이다. 환각 현상을 방지하기 위해 최신기법이 적용된 ‘팩트체크’도 구현한다고 덧붙였다. 테크업계 관계자는 “생성형 AI 기술은 앞으로 얼마나 정확한 정보를 만들어 내느냐가 경쟁력을 좌우한다”며 “선별된 데이터를 체계적으로 학습시키는 RAG 기술이 AI 보급의 주축으로 떠오르고 있다”고 말했다.