허위 판례 인용-환각 줄었다

HEC 파리 - 프린스턴대 등 연구
RAG 기술로 AI 정확성 높아져
“이제 인간 변호사 역할 고민할 때”

요약
- 법원 판결문에서 언급된 AI 환각 사례가 2026년 2분기 감소했다.
- AI 기술 발전에 따른 인간의 역할을 논의할 필요가 있다.

인공지능(AI) 기술이 발전하면서 판결 등 법률 영역에서 확인되는 오류인 'AI 환각(hallucination)' 사례가 줄어들고 있다는 연구 결과가 잇따르고 있다. 

2025년 4월부터 전 세계 법원과 심판기관의 판결·결정문에서 AI환각 현상을 언급한 사례를 수집해 데이터베이스를 운영해 온 HEC 파리(경영대학원) 다미앵 샤를로탱(Damien Charlotin) 선임연구원에 따르면 AI 환각 사례는 2026년 1분기 455건에서 2분기 420건, 3분기 358건으로 줄었다. 2025년엔 증가해 2026년 1분기 정점을 찍고 내림세를 탄 것이다.

법률신문이 파악한 2026년 5월 미국 프린스턴대 연구에 따르면 2025년 출시된 GPT-5.1의 허위 판례 인용률은 6.57%를 기록해 2023년쯤 출시한 GPT-3.5 계열의 약 25%에 비해 크게 낮아졌다.

또 챗GPT 개발사인 오픈AI가 2026년 10월 7일 내놓은 평가보고서에 따르면 법률 등 고난도 분야에서 GPT-6 Sol의 개별 주장 오류율은 0.9%를 기록해 이전 모델인 GPT-5.6 Sol의 개별 주장 오류율 1.8%와 비교할 때 절반으로 감소했다. AI 기술이 발전해 버전이 업그레이드될수록 오류가 줄었다는 뜻이다.

앞서 미국 예일대와 스탠퍼드대 공동연구진이 2024년 미국 연방법원 판례 1만5,000건에 대한 질문을 AI에 던졌더니 GPT-3.5에선 69%의 환각현상이 나타난 반면 GPT-4에선 58%만 나타나 11%포인트 낮아졌다는 결과가 나오기도 했다.

샤를로탱 선임연구원은 법률신문과의 이메일 인터뷰에서 "기술의 발전과 변호사들의 경계심이 높아진 점, 법원이 대응하고 있는 점 등이 복합 작용한 결과로 보인다"고 말했다. 

최경진 가천대 법학과 교수(한국인공지능법학회장)도 "법률분야에서 인공지능 사용량이 급증하는 가운데서도 환각과 오류 사례가 감소한 것은 결국 기술 발전이 가장 크게 작용했다고 본다. 특히 2026년 초부터는 눈에 띄게 체감된다고 할 만큼 환각이 줄어들었다"고 말했다. 

'더 똑똑해진 법률 AI'를 만든 구체적인 기술로는 'RAG(검색 증강 생성)'를 들 수 있다. 인공지능이 근거 자료를 직접 확인해 답변하도록 하는 기술이다. 초기 AI는 한정된 학습자료를 기반으로 답변하면서 환각 현상을 불러온 반면 최근 고도화된 AI는 답변을 요구받으면 자료를 직접 검색하고, 교차 검색 등을 통해 확인하는 절차를 거치기도 한다.

스탠퍼드대·예일대 연구진은 2025년 RAG 기반 법률전문 AI의 환각률은 17%~33%로 범용 AI의 43.1%보다 낮다는 연구를 발표했다. 연구진은 "RAG의 장점은 분명하다. 불분명한 내부 지식에 의존하는 대신 검색된 문서의 정보를 활용해 답변할 수 있다. 연구에서 법률 RAG 시스템의 환각률이 범용 대규모 언어모델(LLM)보다 낮게 나타난 점은 고무적이다"라고 언급했다.

조우성(사법연수원 23기) 공동법률사무소 머스트노우 대표변호사는 "최신 AI모델들은 실시간 웹 검색 등을 함께 사용한다. '검색 연동형 최신 AI 모델'을 능숙히 사용하면 오래된 책이나 블로그만 보는 사람보다 오히려 더 정확할 수 있다"고 했다. 

법조계의 인공지능을 둘러싼 관심은 이제 '환각'에서 벗어나 '인간의 역할은 무엇인가'로 옮겨져야 한다는 지적이다. 

강민구(14기) 법무법인 도울 대표변호사는 "현재 최고 성능 AI는 인간 변호사의 평균적 능력을 뛰어넘었다. 2027년 하반기쯤에는 인간 변호사의 역할이 어디까지 남을지를 고민하게 될 것"이라고 했다. 최경진 교수도 "그간 리걸테크가 변호사 업무를 대체한다는 갈등이 있었지만, AI를 둘러싸고는 훨씬 더 강한 충돌이 나타날 것"이라고 했다.