AI 환각 증상을 아시나요?



[한마디로]

챗GPT가 엄청나게 놀라운 건 사실이지만, 맹신했다가는 ' AI 환각'에 빠져들 수 있겠다. 사실이 아닌 것을 진실인마냥 꾸며내는 것을 '환각'이라 하고 이것이 점점 더 교묘해질수록 우리가 보고 듣는 모든 것이 리얼인지 구분 안가는 지경이 올 수 있다.




✔️ 무슨 일인데? 최근오픈AI에 경고장 날린 이들이 등장했다. 호주의 한 지역 시장인 브라이언 후드가 황당한 경험을 했다. 챗GPT가 본인을 2000년대 초 호주중앙은행 자회사와 관련된 해외 뇌물 수수 스캔들 당사자로 허위 지목한 것이다. 범죄 혐의로 기소된적 조차 없는데 챗GPT는 너무 당당히 '후드는 범죄자야'라고 알리고 있으니 미치고 팔짝 뛸 노릇. 당장 오픈AI에 해당 오류를 시정하지 않으면 명예훼손 소송을 제기한다고 경고했다.


✔️ 이뿐만이 아니다? 더 기가막힌 사연도 있다. 미국의 조너선 털리라는 교수가 동료 교수로부터 얼토당토않은 얘기를 들었다. '털리, 내가 연구하려고 챗GPT에 미 법학자들의 성희롱 사례를 기사 출처와 함께 최소 5건 알려달라고 질문했거든? 근데 조지타운대의 털리 교수가 알래스카 현장 학습에서 한 여학생에게 성희롱 발언을 했고 그를 만지려 했다 고 답이 나왔어!'라고 알린 것이다. 여기에  ‘2018년 3월 21일 WP 기사’까지 근거로 들었는데... 알고보니 해당 기사는 존재하지도 않을뿐더러 털리 교수는 그 누구에게도 관련 사건으로 고발당한 적이 없다는 것이다. 


✔️ 리얼 심각한데? 적어도 구글링해서 나오는 자료들은 출처를 알 수 있지만 챗GPT는 오직 챗GPT만이 출처가 된다. 즉 챗GPT 대답에 대한 진위를 재차 삼차 확인하지 않은 이상, 그대로 진실로 받아들이기 쉽다. 이것이 'AI 환각' 증세다. 이런 사례를 접한 오픈AI도 대책을 내놓고 있다. 챗GPT가 이용자 데이터를 무단 수집하고 개인 정보를 유출할 수 있다는 우려가 커지자, 이용자가 챗GPT의 학습에 자신과의 대화 데이터를 활용해도 되는지 선택할 수 있는 기능을 추가했다. 지난 1월에도 AI가 쓴 글을 찾아내는 ‘ 클래시파이어’를 공개했지만 식별 성공 확률은 26%에 그쳤다.


✔️ 우리가 나선다! 엔비디아가 AI 환각을 차단하겠노라 ' 네모 가드레일'이라는 SW를 발표했다. 챗봇에 이 SW를 실행하면 대규모 언어 모델을 이용해 다른 언어 모델에게 사실 확인을 요청해 '환각'을 감지한다. 다른 모델이 일치하는 답을 찾지 못하면 "모르겠다"는 답이 돌아오는 형식이다. 엔비디아는 현재 AI 개발에 이용되는 전 세계 반도체 시장의 90% 이상을 장악하고 있다.



글로벌 AI 이야기만을 골라 듣고 싶다면