[단독] “원고 판례는 AI가 만든 가짜”… AI 환각 대응 나선 법원

허위 서면 제출자에 불이익 검토
대법 “가짜 사건번호 확인 서비스”
학계서도 ‘환각 검증’ 핵심 과제로

서울북부지법 민사15단독 신정민 판사는 지난해 8월 한 민사 사건 판결문에서 “원고가 제시한 대법원 2001다43797, 대법원 2007다20234 판결은 모두 존재하지 않는 사건번호이며, 원고가 인용한 대법원 2015다207747 판결 역시 소멸시효 중단에 관한 내용이 아니다”고 밝혔다. 원고가 제출한 서면에 인공지능(AI)이 만들어낸 가짜 판결이 인용되자 이를 판결문에 남긴 것이다.

대법원 법원행정처가 ‘AI 활용 허위 주장·증거 제출 태스크포스(TF)’ 보고서에 실제 제시한 사례다. 지난해 10월 발족한 TF는 지난 5개월간 AI의 환각 현상(없는 이야기를 허구로 꾸며내는 것)으로 인한 허위 주장·증거 제출 사례를 수집하고 대응 방안을 모색했다. 법원행정처 관계자는 23일 “AI는 기술적·구조적으로 환각 현상이 발생할 우려가 크다”며 “속이려는 의도로 허위 판례 또는 위·변조된 증거를 제출할 수 있어 이에 대응하는 TF를 구성해 대응책을 마련 중”이라고 말했다. 최종 보고서는 이달 중 법원 내부에 배포될 예정이다.

거짓 판례 생성은 AI의 대표적인 환각 현상이다. 법원행정처 TF 보고서에는 서울북부지법 외에도 허위 서면을 제출한 사례가 다수 포함됐다. 울산지법에서는 원고 측이 준비서면에서 실제 판결에 없는 판시 내용을 인용해 재판부가 확인을 요구하자 “구글 AI 제미나이로 판결을 검색하고 확인하지 않았다”고 토로한 경우가 있었다. 대법원에서도 상고이유서에 쟁점과 관련 없거나 존재하지 않는 판결을 제시한 사례들이 보고됐다. 없는 판례를 제시하는 경우가 잇따르자 법원행정처는 지난달 20일부터 사법정보공개포털에서 허위 사건번호 확인 서비스를 시작했다.

법원 내부에서는 AI로 인한 부작용 확산을 막기 위해 허위 증거나 주장에 대해 불이익을 주는 방안이 거론된다. TF는 해당 서면에 대한 진술을 제한하거나 판결문에 잘못된 증거를 활용했다고 명시하는 방식을 제안했다. 허위 서면 제출자가 변호사인 경우 대한변호사협회에 징계를 의뢰하는 방안도 포함됐다. 법원행정처는 법관 재량으로 할 수 있는 방안은 시행하도록 권고하고, 규칙 개정이나 시스템 개선 등이 필요한 경우에는 이를 검토한다는 방침이다. 입법이 필요한 조치로는 당사자나 변호사에게 AI 사용 여부를 밝히도록 의무화하는 것과 허위 주장·증거 제출 시 과태료를 부과하는 방안을 제시했다.

가짜 판례로 골머리를 앓는 법조계와 유사하게 학계에서는 AI를 이용한 저질 논문, 이른바 AI 슬롭(slop·디지털 쓰레기)이 문제로 대두되고 있다.

AI 탐지 스타트업 GPT제로(GPTZero)가 지난해 AI 분야 3대 학회로 꼽히는 신경정보처리시스템학회(NeurIPS·뉴립스)에 제출된 논문 4841편을 분석한 결과 잘못된 인용을 활용한 사례가 최소 53편에 달했다.

AI 활용으로 정보 생산량이 급증하고 허위 정보가 정교해지면서 검증은 더욱 어려워지고 있다. 신경정보처리시스템학회의 환각 인용 논문들은 최소 3명의 심사위원을 거쳐 통과했다. 학계에서는 검증을 위해 더 많은 심사위원을 고용하고 검증에 AI를 활용하기도 하지만 AI 슬롭을 100% 걸러내지 못하고 있다.

이처럼 AI의 잘못된 활용으로 또 다른 비용을 치러야 하는 상황을 전문가들은 ‘이해의 부채’ 현상이라고 일컫는다. 사용자가 AI의 답변을 충분히 검증하지 않은 채 활용하는 경우가 많아지면서 이에 따른 막대한 사회적 비용이 들 것으로 예상된다. 전문가들은 AI의 허위·저질 정보 확산이 더 큰 문제로 돌아오기 전에 대책 마련이 시급하다고 강조했다.

차진아 고려대 법학전문대학원 교수는 “알고리즘에 허위 정보를 학습시키거나 증거를 위·변조하는 등 해결하기 어려운 법적·기술적 문제들이 나타날 것”이라며 “AI는 완벽하지 않기 때문에 그 작동 방식과 결과물의 진위 여부 등은 최종적으로 반드시 사람이 검증해야 한다”고 말했다. 신동평 한국과학기술기획평가원 기술예측센터장은 “AI의 잘못된 활용에 사회가 얼마나 많은 비용을 투입할지가 중요한 문제가 될 것”이라고 말했다.

양한주 기자 1week@kmib.co.kr