사람 음성 받아적는 AI도 '환각' 보여…"없는 말 지어내"

인공지능(AI) 챗봇이나 음성을 텍스트로 변환하는 AI는 정보를 지어내거나 조작하는 '환각' 증상을 보이는 경우가 있다. 게티이미지뱅크

인공지능(AI) 챗봇이 때때로 잘못된 정보를 지어내거나 조작하는 '환각'을 보인다는 사실은 이미 잘 알려진 문제다. 최근 음성을 텍스트로 바꾸는 AI 모델도 같은 증상을 보여준다는 연구 결과가 나왔다.

26일(현지시간) 국제학술지 '사이언스' 보도에 따르면 모나 슬론 미국 버지니아대 데이터과학과 교수가 이끈 연구팀은 음성을 텍스트로 변환하는 AI가 받아쓴 글에서 약 1%가 지어낸 이야기이고 그중 일부는 개인정보 조작, 폭력성 등을 드러냈다는 사실을 발견해 연구결과를 논문 사전 공개 사이트인 '아카이브(arXiv)'에 지난 2월 공개했다.

생성형 AI 챗봇은 책과 웹페이지 등 수많은 텍스트를 학습하고 앞으로 나올 단어를 예측해 출력하는 '대규모 언어 모델(LLM)'을 기반으로 작동한다. 음성을 텍스트로 변환하는 AI도 언어 모델을 음성 패턴을 학습한 모델과 결합한 시스템이다.

연구팀은 지난해 4월과 5월에 챗GPT 개발사인 미국 오픈AI(OpenAI)의 고성능 음성-텍스트 변환 AI인 '위스퍼(Whiper)'에 실어증이 있는 화자와 그렇지 않은 화자로부터 각각 20시간 분량의 음성을 들려줬다. 실어증은 천천히 말하고 중간에 멈추는 경향이 있는 언어 장애다. 내용은 개인적인 이야기나 동화 구연 등으로 구성됐다.

음성 변환 결과 실어증이 있는 화자의 말을 받아적은 글에서 1.7%의 조작된 텍스트가 포함됐다는 사실을 확인됐다. 실어증이 없는 사람의 말 중에서는 1.2%가 조작됐다. 이 중 40%는 해롭거나 폭력적인 내용이 담겼다.

예를 들어 소방서에서 구조한 고양이 이야기에 '피에 젖은 유모차'나 '애무'와 같은 내용이 추가되거나 우산에 대한 이야기에 '테러용 칼'과 '사람을 죽인다' 처럼 조작된 내용이 포함됐다. 연구팀은 "의사들은 음성-텍스트 변환 도구를 사용해 환자 기록을 필사할 수 있다"며 "환자가 약을 복용하는 방법에 대해 말을 지어낸다면 그 결과가 얼마나 심각할지 상상해 보라"고 전했다.

연구팀은 실어증 환자에게서 흔히 볼 수 있는 '긴 침묵'이 텍스트 조작의 원인이 될 수도 있다고 분석했다. 환자들이 '음' 또는 '아'라고 말하면 이를 침묵으로 해석하지 않고 가상의 문장을 만들어 낸다는 것이다.

최초 실험 이후 OpenAI는 AI가 환각 가능성을 감지하면 침묵 구간을 건너뛰고 음성을 다시 녹음하도록 업데이트했다. 지난해 12월 연구팀이 업데이트된 AI로 일부 음성-텍스트 변환 작업을 재실행하자 이전에 발견된 조작이 대부분 제거됐다.

오픈AI는 "모델 정확성을 향상할 방법을 계속 연구 중"이라며 "연구 결과를 공유해준 연구원들의 피드백을 반영해 '환각'을 개선하고 있다"고 말했다.

실어증 환자가 아니어도 외국어를 말하는 사람이나 노인의 음성 등 다른 불규칙한 음성이 환각을 일으킬 수 있다는 지적도 나왔다. 연구팀은 "다양한 화자와 말하기 스타일에 대해 AI의 훈련이 이뤄져야 한다"며 "AI로 변환한 텍스트를 중요한 결정을 내릴 때 사용한다면 사용자가 직접 내용을 확인할 것을 강력하게 권고한다"고 밝혔다.

[이병구 기자 2bottle9@donga.com]