"피자에 접착제 넣으세요"…AI가 헛소리하는 이유가 있다는데

여러분은 AI를 100% 신뢰하십니까?

최근 영국 법원이
"AI로 만든 가짜 자료를 법정에서
인용한 변호인은 법정모독죄로
기소될 수 있다"라는 발언과 함께
경고를 내렸습니다.

생성형 'AI의 환각' 현상이
법조계에까지 영향을 미치고 있다는
점을 보여주는 사례죠.

비슷한 사례가 미국에서도
발생한 적이 있습니다.

한 미국 남성이 은행 두 곳을 상대로
자금조달 계약 위반 소송을
제기했습니다.

그는 AI를 활용해 판례 40여 건을
인용한 서류를 제출했지만,
이 중 18건은 실제로 존재하지 않는
가짜 사례였어요.

해당 서류는 AI 법률 검색엔진과
생성형 도구를 이용해 작성된 것이었고,
변호사도 이를 검증하지 않고 그대로
인용해 논란이 제기됐습니다.

이 같은 AI 환각은
법정 외 일상에서도 나타납니다.

구글의 'AI 오버뷰'에 한 사용자가
"피자 치즈가 흘러내리는 걸
막는 방법을 알려줘"라고 묻자

AI는 "무독성 풀을 소스에 섞어
치즈를 붙이세요"라는 잘못된 조언을
제시한 사례가 있었어요.

그럼 AI는 왜 이런 오류를 내는 걸까요?

이 같은 현상은
AI의 구조적 특성에서 비롯됩니다.

생성형 AI는 문맥상 다음에 올
가능성이 높은 단어를 예측하는
방식으로 작동하며, 그 정보의
사실 여부는 판단하지 않습니다.

ex)
"피카소는 스페인의…"라는 문장이
주어졌을 때:

AI는 학습 데이터에서 가장 자주
등장한 단어인 '화가'를 연결합니다.

만약 '경찰'이라는 단어가
학습 데이터에 더 많이 등장했다면,
해당 단어를 제시했을
가능성도 있죠.

AI는 단어 간의 패턴을 학습할 뿐,
진위 여부를 인식하지는 못해요.

GPT-4의 전체 환각률은 약 1.7%지만,
법률·학술 인용 부분으로 범위를 좁히면
29%까지 상승했고

업그레이드 버전인 GPT-4o는
일상 질문에서 오류 비율이 61%,

구글 제미나이 어드밴스드는
금융 분야 인용 중 77%가
허위로 나타났습니다.

AI가 많은 도움을 주는 건 사실이지만,
중요한 정보일수록 맹신하기보다
직접 확인해 보는 게 좋겠습니다.

참고기사 바로가기

위 콘텐츠는 매일경제 기사<"피자에 접착제 넣으면 맛있어요" 헛소리 늘어놓는 인공지능 학습방식 따른 태생적 결함>을 참고하여 작성했습니다.

[이영욱 기자 / 김민주 에디터]