AI가 만든 ‘가짜 사건’ 가려낸다… 법원, ‘허위 사건번호 확인’ 서비스 출시

사법정보공개포털 ‘허위 사건번호 확인’ 서비스. /사법정보공개포털 캡처

법원행정처가 챗GPT, 클로드 등 생성형 인공지능(AI)이 만들어낸 ‘가짜 사건번호’를 가려낼 수 있는 확인 서비스를 운영한다.

법원행정처는 20일 “최근 생성형 AI가 실제 존재하지 않는 사건번호나 판결문을 만들어내고, 사용자는 이를 그대로 인용해 법원에 제출하는 사례가 점차 증가하고 있다”며 사건번호의 진위를 확인할 수 있는 ‘허위 사건번호 확인’ 서비스를 제공한다고 밝혔다.

‘허위 사건번호 확인’ 서비스는 사법정보공개포털 사건검색 메뉴에서 이용할 수 있다. 사건번호를 입력했을 때 허위인 경우 “사건번호가 존재하지 않습니다. 허위 정보일 수 있으니 주의바랍니다”라는 안내 문구가 표시된다. 허위가 아닌 경우에는 “사건번호가 존재합니다”라는 문구와 함께 판결 내용을 확인하도록 안내한다.

법원행정처는 생성형 AI가 ‘2023다12345’와 같은 사건번호 형식을 학습해 임의의 번호를 만들어내고, 이용자가 이를 실제 사건으로 오인해 인용하는 사례가 나타나고 있다고 설명했다. 이는 AI가 사실이 아닌 내용을 그럴듯하게 만들어내는 이른바 ‘환각(hallucination) 현상’이다.

최근 생성형 AI를 활용해 법률 정보를 검색하거나 서면을 작성하는 사례가 급증하면서 이 같은 문제가 늘고 있다. 실제 미국에서는 한 변호사가 챗GPT를 활용해 준비서면을 작성했다가, 인용한 판례 6건이 모두 존재하지 않는 가짜 판례로 드러난 사례가 있었다.

법원행정처는 “국내에서도 유사한 사례가 계속 발생하고 있지만 이를 검증할 마땅한 방법이 없었다”면서 “사용자가 직접 사건번호의 진위를 확인할 수 있는 ‘허위 사건번호 확인’ 기능을 통해 허위 정보의 인용을 어느 정도 예방할 수 있을 것으로 기대하고 있다”고 했다.