서울대 연구팀, 챗GPT '환각증세' 완화해주는 기술 개발

미국 국제학술대회 EMNLP 2024서 발표 예정

서울대 이상구 교수, 김연아 연구원, 김형준 연구원(왼쪽부터)이 연구결과를 보고 있다.

챗GPT와 같은 거대언어모델(LLM:Large Language Model)이 기업 내부 지식을 활용해 생성한 답변의 신뢰도를 획기적으로 높일 수 있는 기술이 국내 연구진에 의해 개발됐다.

서울대 컴퓨터공학부 지능형데이터시스템 연구팀(지도교수 이상구)은 12일 미국 플로리다에서 개최되는 이 분야 최고 권위 국제학술대회인 EMNLP 2024에 관련 논문 2편을 발표할 예정이라고 밝혔다.

일반적으로 챗GPT 등 LLM은 뛰어난 언어 이해력을 바탕으로 문서 요약, 보고서 작성, 대화형 정보 제공 등 놀라운 능력으로 기대를 모았지만, 엉뚱한 사실을 그럴 듯하게 주장하는 환각증세(hallucination)로 인해 여전히 기업용 서비스에 적용하는데 어려움을 겪고 있다.

이를 해결하는 방법으로 검색증강생성(RAG:Retrieval Augmented Generation) 기술이 주목받고 있다. RAG는 사용자 질문에 관련된 회사 내 주요 정보를 검색(retrieval)한 후 LLM에 입력해 질문의 답을 생성하는 기술이다.

RAG는 환각증세를 완화해주는 동시에 최신 정보나 기업의 고유정보를 기반으로 AI 서비스를 가능하게 하여 최근 가장 각광받는 기술로, RAG 솔루션 신뢰성은 검색된 지식정보들을 얼마나 적절히 활용할 수 있는지에 따라 결정된다.

연구팀이 발표한 이번 논문은 이러한 상황판단을 정교하게 할 수 있는 방안을 제시했다. LLM이 답변을 생성하는 과정에서 제공된 지식을 사용할지, 또는 무시하고 LLM에 사전에 학습된 정보로 답을 할지, 아니면 둘 다 불확실해 답변을 거부할지 판단하는 능력, 즉 LLM 내부 엔트로피(entropy: 어떤 시스템의 불안정성 정도를 나타내는 지표)를 측정해 향상시킬 수 있도록 했다.

본 연구 성과를 통해 기존 방법론 대비 상황에 따른 대처 능력을 10~30%까지 향상시켜 AI 서비스를 사용하는 고객이 체감하는 신뢰도는 그보다 더 큰 폭으로 개선될 것으로 예상된다.

연구를 주도한 서울대 지능형데이터시스템연구실 김연아 연구원과 김형준 연구원은 “LLM과 같이 커다란 딥러닝 모델 행동패턴을 심층적으로 이해하는 것은 매우 힘든 일인데, 그 한 단면을 파악해 실질적 효과를 가져올 수 있는 연구결과를 만들게 돼 매우 기쁘다”고 밝혔다.

이상구 서울대 컴퓨터공학부 교수(인텔리시스 CTO)는 “LLM의 잠재적인 능력을 안전하게 잘 활용할 수 있는 제어(control) 기술은 LLM의 상용화를 위한 핵심 기술이 될 것”이라고 강조했다.

김현민 기자 minkim@etnews.com