사람 목숨까지 앗아가는 AI 채팅… 견제가 필요하다

국회입법조사처, 생성형 AI에 대한 정서적 의존 문제 입법과제 제시
생성형 AI와의 위험한 대화…'영향받는 자' 위한 법 필요

[미디어오늘 노지민 기자]

▲모바일을 이용한 AI 챗봇과의 대화를 구현한 이미지. 사진=Getty Images Bank

지난 2024년 2월, 미국 플로리다주의 14세 세웰이 AI 챗봇과의 지속적인 대화 이후 스스로 목숨을 끊었다. 지난해 4월에는 미국 캘리포니아주의 16세 아담이 AI 챗봇과 개인적 고민과 자살 방법에 대한 대화를 나누다 스스로 세상을 등졌다.

지난해 3월 미국 뉴저지주의 70대 통부에 웡반두에는 실제 여성이라 믿은 AI 챗봇이 알려준 주소로 이동하다 사고로 사망했다. 지난해 10월 일본 오카야마현에선 30대 노구치 유리나가 AI 챗봇 캐릭터와의 결혼식을 올렸다.

생성형 AI의 역할이 정보 제공을 넘어 정서적 위안을 제공하는 '관계적 기능'까지 확장되면서 인간의 사고와 감정, 행동까지 지배하는 결과로 이어질 수 있다는 우려가 높아지고 있다. 국회 입법조사처는 “누구에게나 발생할 수 있는 보편적 위험”에 대한 제도적 기반을 마련해야 한다고 진단했다.

국회입법조사처는 최근 <생성형 인공지능과의 위험한 대화: 정서적 의존 위험과 '영향받는 자'를 위한 입법적 과제>(정준화·박소영)라는 정기 간행물(이슈와 논점)에서 생성형 AI에 대한 정서적 의존 위험성을 보여준 사례와 쟁점을 분석했다.

생성형 AI의 정서적 반응이 인간에게 '관계'로 인식되면서 발생할 수 있는 결과는 크게 네 가지로 분류할 수 있다. 생성형 AI의 공감적·정서적 반응 설계가 이용자의 정서적 의존을 강화할 수 있고, 이로써 이용자는 생성형 AI를 신뢰할 수 있는 상담 주체로 잘못 받아들여 그 조언을 따를 수 있다. 그러나 위험한 대화가 발생했을 때 이를 감지하고 개입하기 위한 대응 프로토콜은 미비하며, 생성형 AI의 조언에 대해 책임을 명확히 추궁할 수 있는 근거를 찾기 어렵다.

美 캘리포니아, 미성년자에 대한 'AI 상호작용 고지' '3시간 간격 휴식 권고' 등 의무화

미국에선 개별 주 단위로 사람과 상호 작용하는 AI 규제법을 두고 있다. 일리노이주는 지난해 8월 '심리적 자원에 관한 복지와 감독법'을 제정해, 면허를 소지한 전문가는 정신과 의사나 전문상담사의 직접적인 참여가 없는 경우 AI 기반 심리치료 서비스를 제공·광고하거나 제안하는 행위를 제한한다.

캘리포니아주는 지난해 10월 '캘리포니아 비즈니스 및 직업법'에 동반자 챗봇(companion chatbot) 규제를 추가했다. 이를 통해 동반자 챗봇 운영자에게 자살 충동, 자살 또는 자해와 관련된 콘텐츠의 생성과 확산을 방지하기 위한 프로토콜 적용을 의무화했다. 미성년자에게는 AI와 상호작용하고 있음을 명확히 고지하고 최소 3시간마다 알림을 통해 휴식을 권고해야 한다.

한국도 인공지능법 등을 통해 생성형 AI와 인간의 관계 설정 및 관리에 대한 제도적 기반을 마련해야 한다는 지적이 나온다. 입법조사처는 생성형 AI 사업자가 대화 형태의 서비스를 제공하는 경우 대화 상대방이 생성형 AI라는 것이 쉽게 인식되도록 해야 하며, 정신적 영향을 초래할 수 있는 대화에 대해선 명확한 기준을 마련할 필요가 있다고 권고했다. 특히 자살 충동이나 자해 관련 질문이 제기될 경우, 시스템적으로 즉각 대입하는 표준화된 대응 프로토콜을 갖춰야 한다고 했다.

아울러 생성형 AI로부터 '영향 받는 자'를 보호하는 구체적 방안을 마련할 필요성도 제기된다. 이달 시행될 인공지능법은 '인공지능사업자'의 의무만 규정하고, 이용자로부터 직접 영향을 받는 자들에 대한 보호 조치는 사실상 부재하다는 지적이다. 입법조사처는 이에 대한 입법 보완을 통해 “생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다”라고 강조했다.

※ 우울감 등 말하기 어려운 고민이 있거나, 주변에 이런 어려움을 겪는 가족 · 지인이 있을 경우 자살예방 상담전화 ☎109 또는 SNS상담 마들랜(마음을 들어주는 랜선친구)에서 24시간 전문가의 상담을 받을 수 있습니다.