[창] AI ‘환각’의 교훈

전성필 산업1부 기자

지난 2022년 11월 11일 캐나다인 제이크 모팻씨는 토론토에 사는 할머니의 별세 소식을 들었다. 모팻씨는 곧바로 장례식에 참석하기 위해 당일 에어캐나다 웹사이트를 방문했다. 모팻씨는 토론토 왕복티켓을 정가인 1630.36캐나다달러에 구매했다. 그러자 에어캐나다의 생성형 인공지능(AI) 챗봇이 유족할인제도를 안내했다. 90일 이내에 할인을 신청하면 유족할인금액으로 소급 적용돼 차액이 환불된다는 것이다. 모팻씨는 전화 문의로 380캐나다달러를 할인받을 수 있다는 안내를 또 받았다.

이후 모팻씨는 챗봇의 안내대로 비행기에 탑승했다. 이후 일주일 내에 친족의 사망증명서와 유족할인 신청서를 제출했다. 그런데 에어캐나다가 ‘발뺌’하기 시작했다. 유족 할인은 소급 적용되지 않는다는 이유에서였다. 모팻씨는 챗봇과의 대화화면을 첨부해 다시 유족 할인을 신청했다. 그러나 에어캐나다는 웹사이트 게시 정보와 챗봇의 안내가 다르다면서 챗봇의 안내가 부정확한 데 대해 책임이 없다고 주장했다.

에어캐나다는 챗봇이 환각을 일으켜 잘못된 답변을 한 것은 인정하지만 유족 할인 신청은 받아들이지 않았다. 에어캐나다는 챗봇이 ‘유족이동’ 관련 정보가 적힌 웹페이지 연결 링크를 제시했고, 이 웹페이지에 ‘유족할인제도는 소급 청구될 수 없다’는 정책이 명시돼 있었다고 주장했다. 모팻씨가 챗봇의 웹페이지를 확인했다면 문제가 생기지 않았을 거란 이유다. 결국 챗봇의 잘못된 안내를 두고 법정 다툼이 벌어졌다.

결과적으로 캐나다 브리티시컬럼비아 민사분쟁해결재판소는 모팻씨의 손을 들어줬다. 재판소의 논리는 이랬다. 에어캐나다가 정확하고 오해의 소지가 없는 정보를 제공해야 하는 의무가 있는데 챗봇이 부정확한 정보를 제공한 것은 불법행위에 해당한다는 것이다. 에어캐나다가 ‘과실에 의한 부실표시’를 저질렀다는 게 재판소의 판단이다. 에어캐나다는 서비스 제공자이고 모팻씨는 고객이기 때문에 상업적 관계가 맺어진다. 그렇다면 에어캐나다는 모팻씨에게 주의의무를 다해 명확한 기준을 표시하고 오해의 소지가 없도록 해야 한다. 그러나 에어캐나다는 그러지 않았다.

흥미로운 것은 재판소가 AI 챗봇이 일으킨 일종의 ‘환각 현상’의 책임이 에어캐나다에 있다고 판단한 점이다. 챗봇은 유족할인제도에 대해 환각을 일으켜 부정확하게 안내했다. 그러나 에어캐나다는 챗봇을 포함한 대리인 등이 제공한 정보에 책임을 지울 수는 없다고 주장했다. 또 챗봇이 자신의 행동에 대해 책임지는 별도의 법적인 주체라고 주장했다.

하지만 재판소는 챗봇은 주체성이 없다고 봤다. 챗봇이 비록 대화 방식으로 정보를 제공하지만 에어캐나다의 웹사이트 일부에 불과하다는 것이다. 이 웹사이트에 대한 책임은 전적으로 에어캐나다에 있다고 판단했다.

재판소는 또 챗봇이 유족이동 관련 웹사이트 연결 링크를 제시한 것은 주의의무를 다한 것이 아니라고도 판단했다. 재판소는 웹페이지가 챗봇보다 신뢰할 수 있다는 명확한 이유를 에어캐나다가 설명하지 않았다고 지적했다. 챗봇이 웹사이트의 한 부분이기 때문에 챗봇이 제공하는 정보를 다른 웹사이트에서 이중으로 확인해야 할 이유도 명확하지 않다고 꼬집었다. 에어캐나다는 결국 모팻씨에게 유족할인금액에다 재판비용 등을 더한 812.02캐나다달러를 물어주게 됐다.

에어캐나다는 생성형 AI 열풍에 따라 고객응대 방식으로 챗봇을 적용하고 있는 기업들에는 경각심을 주는 상징으로 자리잡았다. AI가 일으키는 환각을 어쩔 수 없는 오류라고 치부하며 책임을 다하지 않는 행위는 더 이상 기업 현장에서 용납되지 않는다는 선례가 만들어졌기 때문이다.

AI는 인간 수준의 사고능력을 보여주며 빠른 속도로 발전하고 있지만 여전히 환각을 극복하지 못했다. 오히려 최근에는 AI가 학습하는 내용이 많아지면서 환각이 더 심해졌다는 분석도 나온다. AI가 정확한 답을 찾지 못하면 비슷한 부분만 짜깁기해 잘못된 정보를 주는 행위를 더 과감하게 한다는 것이다. 시간이 지날수록 AI의 환각을 줄이는 여러 기술이 등장하겠지만 AI를 통해 사회적 책임을 덜어낼 수 있을 거란 생각은 환상에 지나지 않는다고 본다. 인간의 능력을 대체하는 AI가 발전할수록 인간의 책임이 더 커진다는 아이러니는 AI의 환각이 주는 교훈이 아닐까.

전성필 산업1부 기자 feel@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지