AI ‘환각 현상’ 탓에… 사람처럼 보이려 팩트보다 그럴듯하게 답변

생성형 AI 왜 틀린 답 내놓나

AI 이미지./로이터 연합뉴스

생성형 인공지능(AI) 기반 챗봇이 잘못된 정보를 내놓는 이유로는 ‘환각 현상’이 꼽힌다. 환각은 실제로는 없거나 사실이 아닌 정보를 사실인 것처럼 말하는 현상이다. 생성형 AI는 컴퓨터나 데이터베이스처럼 정보를 원래 상태 그대로 저장하는 것이 아니다. 자체 알고리즘을 통해 단어와 단어, 정보와 정보 간의 관련성에 따라 정보를 저장한다. 사람이 질문하면 핵심 주제어를 선별한 뒤, 관련성이 높은 단어를 하나씩 추가하는 방식으로 작동하는데 이 과정에서 ‘정확성’보다는 ‘매끄럽고 자연스러운 문장’을 선호하는 경향이 있다. 사람처럼 보이는 그럴듯한 답변을 내놓게 설계돼 있다는 것이다.

장병탁 서울대 AI연구원장은 “생성형 AI는 백과사전처럼 원문을 그대로 내놓는 게 아니기 때문에, 정밀성이 떨어질 수 있다”고 했다. 오픈AI나 구글 등은 챗봇 개발 과정에서 이런 오류를 줄이기 위해 답변을 사람이 검토한 뒤 바로잡는 방식으로 학습시킨다. 하지만 데이터의 양 자체가 워낙 방대하고 가르치는 사람수가 제한적이어서 환각 현상 개선에 애를 먹고 있다.

인터넷에 범람하는 가짜 뉴스와 허위 정보도 AI 챗봇의 신뢰성을 떨어뜨리는 주범이다. 빅테크의 AI 챗봇들은 정보의 출처나 근거를 제시하는 방식으로 정확도를 높인다. 하지만 가짜 뉴스나 허위 정보를 챗봇이 검색해 답변의 근거로 활용할 경우 오답을 내놓을 확률이 높아진다. 실제로 미국 뉴스 모니터링 단체 ‘뉴스가드’에 따르면 AI가 만든 가짜 뉴스를 게시하는 웹사이트 수는 5월 49개에서 지난 18일 614개로 12배 넘게 늘었다. 뉴스가드 측은 “하루에 수백개가 넘는 가짜 뉴스를 쏟아내는 사이트도 있다”고 했다. 이런 사이트에서 생성되는 가짜 뉴스가 전 세계인이 사용하는 AI 챗봇을 오염시키고 있다는 것이다.

개방형(오픈소스) AI의 무분별한 확산도 문제라는 지적이 있다. 빅테크의 AI 챗봇을 규제하더라도, 누구든 공개된 모델을 수정하고 개선할 수 있는 개방형 AI가 대중화하면서 정보 조작은 쉬워지고 단속은 어려워진다는 것이다. 20일 현재 공개 AI 모델 사이트인 허깅페이스에 등록된 AI 모델은 44만개에 이른다.