스마일샤크, 생성형 AI ‘환각통제 사례’ 발표…“팩트 오류 큰폭 감소, 검수 시간 90% 절감”

AWS 서밋 2026 서 ‘LLM-as-a-Judge’ 기반 검증 체계 소개

AWS 서밋 서울 2026에서 ‘생성형AI의 신뢰성 확보 전략 : 매경AX의 환각 통제 사례’ 주제로 발표 중인 스마일샤크 최병주 솔루션즈 아키텍트. 사진제공=스마일샤크

스마일샤크(대표 장진환)는 AI가 생성한 결과물을 또 다른 AI 모델이 평가하고 검수하는 ‘LLM-as-a-Judge’ 방식을 매일경제신문사 산하 디지털 조직 매경AX의 AI 팟캐스트에 적용한 결과, 월 평균 15~20건 수준으로 발생하던 사실 오류를 월 1건 이하로 줄였으며, 검수 과정에 투입되는 인력 시간도 90% 이상 단축했다고 밝혔다.

최병주 스마일샤크 솔루션즈 아키텍트는 이같은 내용을 지난 20일 ‘AWS 서밋 서울 2026’ 인더스트리데이 세션에서 ‘매경AX의 환각 통제 사례’를 주제로 발표했다.

이 프로젝트는 생성형 AI 도입 시 가장 큰 걸림돌인 환각 현상(사실과 다른 정보를 생성하는 문제)을 해결하기 위해, AI 모델이 결과물을 내놓으면 별도의 평가 AI가 원문 대조 및 평가 기준에 따라 결과물의 신뢰도를 검증하는 방식으로 진행됐다.

최병주 아키텍트는 “생성형 AI 서비스는 운영 단계에서 품질 평가 체계가 반드시 필요하다”며 “모델 자체 성능뿐 아니라 오류 검증과 실패 사례 관리가 함께 이뤄져야 안정적인 서비스 운영이 가능하다”고 말했다.

AWS 서밋 서울 2026 스마일샤크 부스를 찾은 참관객들. 사진제공=스마일샤크

클라우드 업계 역시 생성형 AI 확산과 함께 AI 결과물의 신뢰성과 운영 안정성을 검증하는 기술 수요 역시 빠르게 증가할 것으로 보고 있다. 장진환 대표는 “AI를 실제 업무 환경에 적용하려는 기업 문의가 지속적으로 증가하고 있다”며 “운영 경험 기반의 사례와 노하우 공유를 확대할 계획”이라고 밝혔다.

한편, 올해로 12회를 맞은 ‘AWS 서밋 서울’은 AWS가 주최하는 국내 대표 AI·클라우드 행사로, 올해는 생성형 AI 기술과 산업 현장 적용 사례를 중심으로 다양한 세션이 진행됐다. 스마일샤크는 이 행사에 플래티넘 스폰서로 참가해 AI 상용화 전략과 운영 경험을 소개했다.

또한 현장 부스에서는 야구단 포지션 테스트 기반 클라우드 서비스 추천 콘텐츠와 맞춤형 굿즈 프로그램 등이 운영됐다. 스마일샤크는 행사 기간 동안 스타트업과 중소기업 관계자를 대상으로 AI 도입 상담도 병행했다.

최용석 기자 duck8@donga.com