‘AI 환각’에 농락 당한 컨설팅사 KPMG…AI 사용보고서 철회 [이규화의 글로벌AI]

AI 활용 사례 다루면서 케이스 검증 않고 발표

AI 오류 탐지 그룹 'GPTZero'의 조사로 드러나

AI 취약점과 기술 만능주의에 빠진 태만의 결과

최고의 지식 그룹도 'AI 환각' 희생양 될 수 있어

글로벌 대형 회계·컨설팅 기업인 KPMG가 인공지능(AI)의 실제 활용 사례를 다룬 보고서에 허위 사실이 다수 포함된 것으로 드러나 보고서를 공식 철회하는 소동이 벌어졌다.

법률, 회계, 경영 컨설팅 등 고도의 전문성과 객관적 사실을 기반으로 삼아야 하는 전문 서비스 업계가 클라이언트들에게 AI의 책임 있는 도입과 위험 관리 방안을 컨설팅하면서, 정작 자신들의 고부가가치 연구 보고서에는 검증되지 않은 생성형 AI 결과물을 무비판적으로 수용하는 어처구니없는 상황이 벌어진 것이다.

미국 IT 전문 매체 테크크런치의 13일(현지시간) 보도에 따르면 KPMG가 발간한 '에이전틱 AI 시대의 탁월함 재정의'(Redefining excellence in the age of agentic AI) 보고서에 언급된 여러 기업 및 기관들이 자사의 AI 활용에 대한 보고서 내용이 사실과 다르거나 왜곡됐다고 밝혔다.

이에 따라 KPMG 측은 해당 보고서를 전격 회수했다.

이 보고서는 당초 지난해 10월 발간된 것으로, 글로벌 기업들의 생성형 AI 및 자율형 AI 에이전트 도입 성공 사례를 분석해 업계의 주목을 받았다. 그러나 AI에 관한 보고서를 작성하는 과정에서 AI의 고질적인 문제인 '환각'(Hallucination) 현상을 걸러내지 못한 채 그대로 발행했다.

KPMG 보고서의 심각한 오류는 AI 탐지 및 검증 전문 연구그룹인 'GPTZero'의 조사에 의해 처음으로 세상에 알려졌다.

GPTZero는 보고서에 인용된 수많은 사례와 출처가 실제 데이터와 부합하지 않는 명백한 AI 환각 현상에서 비롯된 결과물이라고 지적했다. 영국 파이낸셜타임스(FT) 역시 자체 취재를 통해 이 같은 사실을 추가로 검증해 보도했다.

보고서에서 AI를 혁신적으로 도입해 성과를 내고 있다고 언급된 스위스 최대 금융그룹 UBS, 영국의 국립보건서비스(NHS), 스위스 연방철도, 그리고 런던 교통공사(TfL) 등은 일제히 언론을 통해 "보고서에 기술된 당사의 AI 사용 관련 주장은 전혀 사실이 아니거나 심각하게 오도된 내용"이라고 강력히 반박했다.

이처럼 신뢰도가 핵심인 글로벌 대형 기관들의 거센 항의가 이어지자 KPMG 대변인은 공식 입장을 통해 "출판물의 정확성과 무결성을 엄중하게 받아들이고 있으며, 현재 내부적으로 해당 보고서가 작성되고 발간된 경위에 대해 철저한 조사를 진행하는 동안 웹사이트를 포함한 모든 채널에서 해당 보고서를 즉각 삭제했다"고 밝혔다.

아울러 "KPMG의 모든 임직원은 콘텐츠의 유효성을 검증하고 독립적인 출처를 확인하는 '인간의 감독'(Human Oversight) 과정을 포함해, AI를 책임감 있게 사용해야 한다는 회사의 내부 지침을 철저히 준수할 것"이라며 고개를 숙였다.

전문가들은 이번 사태가 비단 KPMG만의 문제가 아니라고 경고한다. 불과 한 달 전에도 4대 글로벌 회계법인 중 하나인 EY(언스트앤영)가 고객 로열티 보상 프로그램에 대해 발간했던 연구 보고서에서 가짜 주석과 AI 환각에 기반한 허위 정보들이 발견돼 보고서를 긴급히 철회하는 사건이 발생했다.

이처럼 세계적 컨설팅사들이 신뢰에 치명적인 타격을 입는 아이러니한 현상이 반복되고 있는 실정이다.

이번 KPMG의 보고서 철회 사태는 현재 급격하게 확산 중인 생성형 AI 기술의 가장 취약한 단면과 기술 만능주의에 빠진 인간의 '태만'이 결합해 만들어낸 전형적인 인재(人災)라고 할 수 있다.

대규모 언어모델(LLM)을 포함한 생성형 AI 기술은 문맥상 가장 그럴듯하고 유창한 문장을 만들어내는 데 탁월하지만, 스스로 정보의 사실 여부를 완벽하게 검증하지 못한다. 존재하지 않는 출처나 허위 사례를 진짜처럼 꾸며내는 '환각'이라는 근본적인 한계를 지니고 있는 것이다.

AI 모델들은 입력된 방대한 데이터를 기반으로 최적의 답변을 구성할 뿐, 스스로 '도덕적 양심'을 가지고 사실 관계를 현장에서 직접 확인하거나 교차 검증하지 못한다. 따라서 AI가 도출한 최종 결과물이 세상에 공개되기 전, 내용의 진위 여부를 꼼꼼하게 따지고 검증해야 하는 마지막 보루는 언제나 '인간의 철저한 감독과 책임'이 돼야 한다.

KPMG와 같은 세계 최고 수준의 지식 집단마저 AI가 그럴싸하게 만들어낸 '가공의 사실'에 속아 검증 절차를 생략했다가 국제적인 망신을 당한 이번 사건은, AI 시대에 인간의 비판적 사고와 철저한 팩트 체크 프로세스가 얼마나 중요한지 보여준다.

이규화 대기자 david@dt.co.kr

이규화 대기자

생성형 AI. 연합뉴스