[창간기획]AI에 속은 경험 많아…답변 검토과정 거쳐야

인공지능(AI)이 존재하지 않는 사실이나 자료, 출처를 마치 진짜인 것처럼 제시하는 환각(할루시네이션) 현상은 여전히 업무 현장에서 AI 활용의 걸림돌로 작용했다. 이로 인해 관리자급 AI 담당자들은 AI의 분석 결과는 참고 자료로 활용하고, 전문가의 의견을 신뢰하는 경향이 더 높은 것으로 나타났다.

전자신문이 AI 관리자 143명을 대상으로 진행한 설문조사에서 무려 139명(97.2%)이 “AI 서비스를 이용하면서 잘못된 정보나 왜곡된 답변으로 인해 곤란을 겪은 경험이 있다”고 답했다. 사실상 응답자 대부분이 AI의 부정확한 정보 전달을 경험한 셈이다.

구체적으로 할루시네이션을 경험했다는 사례는 89건이나 됐다. 전체 응답자의 62.2%다. 학습 데이터의 한계와 확률에 기반한 생성 방식으로 인해 AI가 근거 없는 내용을 마치 사실인 것처럼 말하는 할루시네이션은 AI 확산 초기부터 제기된 문제지만, 최근에는 그 양상이 점점 알아차리기 어렵게 변화하고 있다고 전문가들은 지적했다.

한 응답자는 “AI가 허위 정보를 사실처럼 만들어 내는 방법이 다양해지고 정교해졌다”면서 “이는 사회 여러 방면에서 잘못된 여론을 형성하거나, 판단을 유도해 사회적 비용과 혼란을 야기할 수 있다”고 우려했다.

질문 의도를 이해하지 못하거나 맥락을 제대로 파악하지 못한 경우는 26건(18.2%)이었고, AI가 강점을 지닌 분야로 여겨졌던 계산·분석·요약·번역 등에서 단순 오류나 잘못된 결과를 경험한 사례도 14건(9.8%)이나 됐다. 수는 적지만 AI가 차별적 답변을 내놓거나(5건) 민감한 정보를 요구하는(2건) 치명적인 사례를 경험한 사례도 있었다.

이처럼 AI가 내놓는 답변의 불완전성으로 인해 응답자의 76.2%(109명)는 AI와 전문가의 의견이 다를 경우 “전문가 의견을 신뢰하겠다”고 밝혔다. 세부 응답에서 AI의 답변을 신뢰하지 못해 추가 검토를 거치는 경우가 빈번했다.

다른 응답자는 “기존 소프트웨어(SW)의 오류는 눈에 보이지만 AI의 환각은 그럴듯한 형태로 나타나기 때문에 검증 없이 통과될 위험이 크다”면서 “결국 AI 활용의 실질적 비용은 사용료가 아니라 결과를 검토하고 판단하는 사람의 시간이라고 생각한다”고 답했다.

해결 방안으로는 AI 활용에 대한 리터러시 교육이 다수 제시됐다. 이 응답자는 “위험한 것은 AI를 못 믿는 것이 아니라 검증 없이 믿는 습관이 굳어지는 것”이라면서 “업무별로 AI에 맡길 범위를 명시한 조직 내부 가이드라인, 그리고 'AI를 쓰는 능력'이 아니라 'AI의 결과를 의심하는 능력'을 기르는 리터러시 교육이 함께 필요하다”고 덧붙였다.

또 다른 응답자는 “AI를 보다 안전하고 신뢰할 수 있도록 사회적으로는 AI 리터러시에 대한 교육이, 기술적으로는 환각을 억제하고 출력 결과를 검증하는 기술에 대한 연구가, 제도적으로는 전문 영역에서 거대언어모델(LLM)을 활용·인용할 때 이에 대한 근거를 명확하게 제시하도록 하는 정책 등이 필요하다”고 의견을 냈다.

송윤섭 기자 sys@etnews.com