AI, 왜 그럴듯한 거짓말 할까…심각한 위험 부르는 ‘환각’의 오류

AI 환각 [연합뉴스]

인공지능(AI)과의 대화 과정에서 실재하지 않는 사건이나 논문·판례를 그럴듯하게 설명하는 답변을 접할 때가 있다는 경험담이 적지 않다. 예컨대 ‘세종대왕의 맥북 던짐 사건’과 같은 사례다.

전혀 존재할 수 없는 사건을 실제처럼 늘어놓거나, 이전에 논의된 적도 없는 연구를 구체적 출처까지 들이대며 제시하는 경우도 있다.

전문가들은 이런 현상을 ‘AI 환각’이라고 부른다. 문장은 매끄럽지만, 내용은 사실과 다른 생성형 AI 고유의 오류다. 이러한 AI 환각은 법률 자문, 의료 상담처럼 정확성이 생명인 영역에선 치명적인 위험 요인으로 작용할 수 있다.

이같은 문제가 생기는 시작점은 대규모 언어모델(LLM)의 작동 원리에 있다.

생성형 AI는 질문의 의미를 인간처럼 이해해 진위를 판별하는 구조가 아니다. 방대한 학습 데이터를 토대로 다음에 올 단어를 확률적으로 예측해 문장을 완성한다. 내부에 독립적인 사실 검증 장치가 있는 것도 아니다. 다만, 통계적으로 가장 자연스러운 표현을 산출한다.

이로 인해 학습 데이터에 충분한 정보가 없거나, 생소한 질문을 주면 모델은 답을 멈추기보다 기존 지식을 조합해 빈칸을 메우려 한다. “모르겠다”고 답하기보다는 불완전한 정보라도 구성해 제시하는 쪽이 학습 과정에서 더 높은 평가를 받아왔기 때문이다.

결과적으로 문법적으로 완결되고 논리적으로 정연해 보이지만 사실과 어긋난 답변이 생성되는 것이다.

학습 데이터의 한계도 환각을 부추기는 요인이다. AI는 인터넷과 각종 문서 등 과거에 수집된 텍스트를 학습한다. 이 과정에서 오류 정보나 편향된 주장, 풍자·소설 같은 허구까지 함께 흡수될 수 있다. 이 경우에 특정 주제에 관한 데이터가 부족하면 기존 패턴을 과도하게 일반화하는 현상도 나타난다.

또 학습 시점 이후의 최신 사건이나 정책 변화는 즉각 반영되지 않아 과거 정보를 토대로 현재를 추정하다가 부정확한 결론에 도달하기도 한다.

최근 빅테크와 AI 업계가 모델 규모를 키우고 있지만 환각이 완전히 사라지지 않는 이유는 전반적인 정확도는 개선될 수 있어도 ‘확률 기반 생성’이라는 구조적 특성 자체가 그대로 유지되기 때문이다.

이를 개선하기 위한 다양한 기술적 방법이 병행되고 있다. 모델이 내부 지식만으로 답변하지 않고 외부 데이터베이스나 실시간 검색 결과를 참고해 근거 기반으로 응답하도록 하는 ‘검색 증강 생성(RAG)’ 구조가 그것이다.

또한 인간 피드백 기반 강화학습(RLHF)을 통해 부정확한 답변에는 낮은 보상을 주고, 신중한 응답을 장려하는 방식도 활용된다.

업계의 한 전문가는 “생성형 AI는 ‘사실 판단 기계’가 아닌 판단을 돕는 도구”라며 “기술의 진화와 함께 인간의 교차 검증과 비판적 수용 능력이 필수적”이라고 했다.

팽동현 기자 dhp@dt.co.kr