국내 기업은 'AI 허언증' 어떻게 줄일까

RAG·롱 컨텍스트 기술 등 모델 용도에 따라 채택

(지디넷코리아=김미정 기자)국내 기업이 생성형 인공지능(AI)에서 발생하는 환각 현상을 줄이기 위해 꾸준히 노력하고 있다.

환각 현상은 잘못된 정보를 사실인 것처럼 그럴싸하게 생성하는 현상이다. 생성 AI 최대 단점이기도 하다. 이런 이유로 기업은 생성 AI를 자사 시스템이나 제품에 넣기 망설여한다. AI가 기업 내 의사 결정 과정에서 잘못된 답을 줄 경우 경영에 치명적인 결과를 초래할 수 있기 때문이다.

최근 RAG(검색인지생성)을 통한 AI 환각 해소법이 떠올랐다. RAG는 생성 AI가 근거 있는 답변을 내놓게 만드는 기술이다. AI가 답하기 전, 자체적으로 출처나 근거를 먼저 검색하는 식이다. 그 후 해당 근거 기반으로 답변을 내놓는다. 그동안은 기업 데이터를 LLM에 넣어 모델을 재학습시키는 파인튜닝 방식이 주요 방법론이었다.

(사진=이미지투데이)

RAG가 절대적인 해결책은 아니다. LLM 용도에 따라 중요할 수도, 덜 유용할 수 있다. 김동환 포티투마루 대표는 "한 기법만으로 환각 방지가 불가하다"고 강조했다. 김 대표 설명에 따르면, RAG는 글짓기 같은 자유도 높은 분야보다는 질의응답, 정리요약, 분류, 추출 등과 같은 사실 기반한 작업에서 유용하다. 그는 "기업용 AI는 글짓기보다는 질의응답, 정리 요약 등에 쓰인다"며 "전문 산업 분야에 RAG 기술이 유용할 것"이라고 강조했다. 이에 국내 기업은 AI 모델 특성과 용도에 따라 RAG 등 다양한 기술을 결합해 생성 AI 정확도를 높이고 있다.

LG AI연구원은 멀티모달 모델 '엑사원 2.0'에 RAG 기술을 적용했다고 설명했다. 엑사원 2.0은 화학, 바이오 등 전문 분야에 특화된 생성 AI다. 그만큼 신뢰성과 전문성 확보가 필수다. 답변 추론과 생성 과정에서 논리적인 구조에 기반한 답변 생성이 가능해야 한다.

배경훈 LG AI연구원장이 엑사원 2.0을 소개하고 있다. (사진=LG AI연구원)

LG AI연구원 관계자는 "AI가 답변 근거가 되는 문서 단락까지 명확히 추출하려면 정확성을 필수로 갖춰야 한다"며 "전체적인 모델 프로세스에 RAG 방식과 자체 개발한 기술을 결합해 정확성 높이기에 힘쓰고 있다"고 밝혔다.

관계자 설명에 따르면, 엑사원 2.0은 초기 학습 때부터 지금까지 저작권이나 개인정보 이슈, 편향 없는 데이터로만 학습하고 있다. 4천500만건 넘는 논문과 특허를 포함한 전문 분야의 정제된 지식을 학습했다. 사용자 피드백도 반영했다. 모델 사용자 피드백 데이터를 구축, 분석했다. 이를 통해 환각을 줄여 신뢰성을 확보에 주력하고 있다.

네이버도 LLM '하이퍼클로바X'에 RAG를 적용했다고 밝혔다. 모델 특성상 RAG뿐 아니라 '롱 컨텍스트' 기술도 채택했다고 강조했다. 롱 컨텍스트는 모델이 긴 문맥을 더 정확히 이해하도록 돕는 기술이다. 모델이 긴 글을 이해하면, 답변 정확도도 높아진다.

(사진=네이버 홈페이지 캡처)

네이버클라우드 성낙호 하이퍼스케일 AI 기술총괄은 "네이버는 하이퍼클로바X로 모델 고도화부터 서비스, 애플리케이션 개발까지 진행한다"고 설명했다. 하이퍼클로바X는 범용 LLM이다. 질의응답, 답변 요약 등 단순한 답을 정확히 내는 것뿐 아니라 글짓기 등 전체 문맥까지 파악해야 할 능력까지 갖춰야 다양한 사업에 쓰일 수 있다. 그는 "하이퍼클로바X는 다양한 산업 분야에 특화될 필요가 있어 RAG를 비롯한 롱 컨텍스트, 자체 기술로 환각을 해소하고 있다"고 강조했다.

국내 스타트업도 생성 AI 환각 해소를 위해 노력하고 있다. 국내 AI 스타트업 스켈터랩스도 챗봇 서비스에 RAG를 적용했다. 스켈터랩스는 기업용 LLM 서비스 '벨라 QNA'를 운영하고 있다. 

(사진=스켈터랩스 홈페이지)

벨라 QNA는 오픈AI의 GPT 모델을 고객사 데이터와 연동해 질의응답하는 챗봇 형태다. 현재 고객 응대, 마케팅, 사내 업무 도우미 챗봇 역할을 맡는다. 여기에 RAG 기술이 적용됐다. 스켈터랩스 측 설명에 따르면, 벨라 QNA는 답변 내용에 혐오표현이나 편향된 정보 여부 등을 자체적으로 판단한 후 답한다.

RAG를 제품화한 기업도 있다. 포티투마루는 'RAG42'를 지난달 말 처음 선보였다. 

RAG42 설명 화면. (사진=포티투마루)

RAG42는 RAG 컨설팅부터 LLM 솔루션 구축, RAG 적용까지 원스톱으로 서비스를 지원한다. 챗GPT, 바드 등 LLM부터 자체 개발하는 소규모 언어모델까지 RAG 기술 적용을 돕는다.

김동환 대표는 "국내 기업은 아직 RAG에 대한 중요성을 인지하지 못하거나 관련 기술을 확보하지 못한 상태"라며 "LLM 도입 초기부터 RAG를 비롯한 특화학습, 파인튜닝, 기계독해(MRC) 등 엔지니어링을 결합한다면 전체적인 AI 정확도와 성능을 끌어올릴 수 있을 것"이라고 강조했다.

김미정 기자(notyetkim@zdnet.co.kr)