[단독] 판결문에 “존재하지 않는 사건번호”… AI 양산 가짜 지식이 쌓인다

대법원, AI 활용 허위 주장·증거 대응 TF 보고서 발간
학계 ‘저질 논문’ 검증도 골머리

서울북부지법 민사15단독 신정민 판사는 지난해 8월 한 사건 판결문에서 “원고가 제시한 대법원 2001다43797, 대법원 2007다20234 판결은 모두 존재하지 않는 사건번호”라고 밝혔다. 사건번호는 있지만 실제와 다른 내용으로 인용된 판결에 대해선 “원고가 제시한 대법원 2015다207747은 소멸시효 중단에 관한 내용이 아니다”라고 적었다. 원고 당사자인 A씨가 제출한 서면에 인공지능(AI)이 만들어낸 가짜 판결이 인용되자 이를 판결문에 적시한 것이다.

이 사건은 대법원 법원행정처가 지난해 10월 발족한 ‘AI 활용 허위 주장·증거 제출 태스크포스(TF)’의 보고서에 포함됐다. TF는 AI의 환각 현상(없는 이야기를 허구로 꾸며내는 것)으로 인한 허위 주장·증거 제출 사례를 수집하고 대응 방안을 모색했다. 보고서는 이달 내 법원 내부에 배포된다. 법원행정처 관계자는 23일 “AI는 기술적·구조적으로 환각 현상이 발생할 우려가 크다”며 “속이려는 의도로 허위 판례 또는 위·변조된 증거를 제출할 수 있어 이에 대응하는 TF를 구성했다”고 밝혔다.

AI 활용이 급속도로 확산하면서 동시에 부작용도 늘고 있다. 사용자가 답변 내용을 충분히 숙고하지 않은 채 활용하면서 허위 정보나 질 낮은 정보들이 확산하는 상황이다. 이렇게 생긴 문제들이 빚처럼 쌓여 막대한 사회적 비용으로 돌아오는 이른바 ‘이해의 부채’가 사회적 문제로 대두되고 있다.

거짓 판례를 만들어내는 것은 AI의 대표적인 환각 현상이다. 법원행정처 TF 보고서에는 A씨 사례 외에도 허위 판례나 법조문을 인용한 사례가 다수 포함됐다. 대구고법에선 소송대리인이 존재하지 않는 대법원 판결을 인용해 재판부가 이를 입증하라고 요구했으나 재차 허위 판결을 인용하며 “사건번호가 부정확할 수 있다”고 주장한 사례가 보고됐다. 부산지법에선 사건번호는 존재하지만 그 내용이 허위인 판례를 인용하는 경우도 있었다.

TF는 대응책으로 허위 법령·판례 등이 인용된 서면에 대해 불이익을 주는 방안을 제시했다. 해당 서면에 관한 진술을 제한하거나 판결문에 이 내용을 기재하는 방식이다. 서면을 제출한 사람이 변호사인 경우 대한변호사협회에 징계를 의뢰하는 안건도 포함됐다. 법원행정처는 법관 재량으로 할 수 있는 방안은 시행하도록 권고하고, 규칙 개정이나 시스템 개선 등이 필요한 경우 이를 검토한다는 방침이다.

학계에서는 AI를 이용한 저질 논문, 이른바 AI 슬롭(slop·디지털 쓰레기)이 쏟아지면서 골머리를 앓고 있다. AI 탐지 스타트업 GPT제로(GPTZero)가 지난해 AI 분야 3대 학회로 꼽히는 신경정보처리시스템학회(NeurIPS·뉴립스)에 제출된 논문 4841편을 분석한 결과 환각 인용이 확인된 논문은 최소 53편, 환각 인용 건수는 100건 이상이었다.

문제는 AI 활용으로 정보의 생산량이 급증하고 허위 정보도 더 정교해지면서 검증이 어려워졌다는 것이다. 뒤늦게 드러난 뉴립스의 환각 인용 논문들도 최소 3명의 심사위원을 거쳐 1만5000편을 제치고 통과한 논문이었다. 학계에서는 논문 검증을 위해 더 많은 심사위원을 고용하고 심지어 검증에도 AI를 활용하고 있다. 자신의 논문에 AI의 긍정적 평가를 유도하는 프롬프트를 숨겨놓는 사례가 발각되기도 했다.

대법원 법원행정처가 지난달 20일 개시한 허위 사건번호 확인 서비스. 사법정보공개포털에서 직접 사건번호를 입력해 사건의 실재 여부를 확인할 수 있다. 사법정보공개포털 캡처

법원에서도 잘못된 판례나 법령을 검증하는 일이 핵심 과제로 떠올랐다. 법원행정처는 지난달 20일부터 사법정보공개포털에서 ‘허위 사건번호 확인’ 서비스를 시작했다. TF는 당사자나 변호사에게 AI 사용 여부를 공개하거나 검증할 의무를 부담시키는 것, 허위 주장·증거를 제출하면 과태료를 부과하는 것 등의 입법 과제도 제안했다. 잘못된 AI 활용을 규제하기 위해 새 법규를 마련하거나 추가 비용을 들여야 하는 사태가 생기고 있는 것이다.

전문가들은 AI의 허위·저질 정보 확산에 대한 대응책 마련이 시급하다고 강조했다. 차진아 고려대 법학전문대학원 교수는 “인간이 제대로 이해하지 못하는 작은 오류들이 나중에 더 큰 문제로 돌아올 수 있다”며 “알고리즘에 허위 정보를 인위적으로 학습시키거나 정교하게 증거를 위·변조하는 등 해결하기 어려운 기술적인 문제들도 나타날 것”이라고 우려했다. 신동평 한국과학기술기획평가원 기술예측센터장은 “AI의 속도가 인간보다 훨씬 빠르기 때문에 AI가 유발한 실수나 잘못을 인간이 검증하는 게 사실상 불가능한 상황이 올 수 있다. 여기에 사회가 얼마나 큰 비용을 투입할 것인지가 중요한 문제”라고 말했다.

테크이슈팀=양한주 기자 1week@kmib.co.kr