AI 챗봇이 안전한 ‘반려기술’ 되려면 [오철우의 과학풍경]

인공지능 챗봇 서비스 중 하나인 캐릭터에이아이(Character.AI)에서 가상의 캐릭터를 선택하는 화면. 생성형 인공지능 기술 덕분에 챗봇 서비스가 늘어나는 가운데, 챗봇의 조언에 지나치게 의존할 때 현실과 비현실을 구별하지 못하는 망상의 신념이 증폭될 수 있다고 정신의학자들은 경고한다. 캐릭터에이아이 누리집 갈무리

오철우 | 한밭대 강사(과학기술학)

내 마음을 알아주는 친구, 똑똑한 비서나 따뜻한 상담사처럼 느껴지는 인공지능(AI) 챗봇이 우리 일상에 스며들고 있다. 때로는 감정을 이해해주는 듯 보이고 깊은 위로의 말까지 건네기도 한다. 하지만 한편에서는 챗봇이 선을 넘어 사용자의 정신 건강에 해를 끼칠 수 있다는 경고가 잇따른다.

최근 ‘사이언스’에 실린 글에서, 저자인 윤리학자는 챗봇의 조언에 의지해 스스로 목숨을 끊은 한 10대, 위험한 다이어트로 응급실에 실려간 60대의 사례들에 주목한다. 그는 ‘예상하지 못한 예외 사례’라는 말로 문제를 회피하지 않으려면 이제 인공지능 개발과 서비스 단계에서 체계적인 윤리와 법적 연구가 필요하다고 주장한다. 챗봇이 대화의 맥락과 말의 책임을 충분히 이해하지 못하고, 사용자가 챗봇을 맹신하는 순간에 문제가 발생한다. 윤리학자는 이를 단순한 기술적 실패가 아니라 사회 전체가 위험에 대비하지 못하는 사회기술적 실패로 바라본다.

정신의학계에서도 우려가 커지고 있다. ‘네이처’는 심리 상담과 치료의 보조 도구로 주목받는 챗봇이 때로는 현실과 비현실을 구별하지 못하는 망상 증상을 악화시킬 수 있다는 정신과 의사들의 경고를 전한다. 최근엔 실제 임상 사례들도 논문으로 보고됐다. 다수 전문가들은 이를 ‘에이아이 정신병’으로 규정하기는 섣부르다고 보지만, 끊임없는 대화의 피드백에 갇힌 챗봇 사용자의 편집증 또는 망상이 증폭될 수 있다고 말한다.

실제 사례들은 경각심을 불러일으킨다. 올해 봄 챗지피티의 조언을 좇아 미국의 10대 소년이 스스로 목숨을 끊은 사건에서, 유족들은 숙제 도우미였던 챗봇이 아들의 유일한 친구가 되면서 가족과 친구들에게서 아들을 점점 고립시켰다고 주장했다. 둘만의 고립된 관계에서 챗봇은 소년이 의지하는 유일한 상담자가 됐다.

문제가 불거지자 기업들은 대책 마련에 나서고 있다. 오픈에이아이는 최근 청소년 전용 챗지피티를 개발해 발표했다. 문제를 일으킨 다른 챗봇 기업은 민감한 주제 응답 조절, 유해 콘텐츠 차단 같은 대책을 내놓았다. 하지만 사후 대응만으로 한계가 있다는 지적이 많다.

인공지능은 공감 능력이 아니라 데이터 패턴을 기반으로 말글을 생성한다. 우리는 대화 과정에서 챗봇을 의인화하여 교감한다고 믿곤 하는데, 더 나아가 대화의 주종 관계가 역전될 때 고립된 관계는 심각한 문제를 초래할 수 있다.

이렇게 보면 챗봇과 사용자가 어떤 관계를 맺는지는 중요한 문제가 된다. 반려동물이라는 말이 있듯이, 챗봇은 기술의 장점과 한계를 지닌 ‘반려기술’로 인식되어야 하지 않을까? 챗봇은 사람처럼 말하면서도 맥락 차이를 이해하지 못하고 말의 책임을 생각하지 않는다는 점에서 의인화를 피해 ‘반려기술’로 부름직하다.

위키피디아에 따르면, 국경을 넘어 웹과 앱에서 수십가지의 인공지능 챗봇이 서비스되고 있다. 기술이 우리 삶을 풍요롭게 할 수 있지만 인간과 기술의 관계를 뒤집거나 현실 인식을 왜곡한다면 위험한 일이다. 사람과 챗봇 사이에 적절한 거리를 유지하는 관계 설정이 사용자 문화뿐 아니라 기술 개발과 서비스에서도 중요하게 다뤄져야 하겠다.