챗봇의 치명적 유혹 [편집인의 원픽]

바닥에 깔린 많은 종이들 가운데 하나를 탁 집어 책상 위에 올려놓는 일. 흔히 언론의 역할로 불리는 어젠다 세팅(Agenda Setting·의제 설정)이 그와 같다. 지금 이 순간에도 세상에는 수 많은 이야기들이 쏟아진다. 그 중에 뉴스 소비자들에게 의미 있는 이야기가 뭘까. 고민과 취재를 거쳐 우리가 내놓는 기사(어젠다)는 독자에 말을 거는 일이다. 뉴스 수명이 갈수록 빨라지는 요즘, 조금이라도 더 많은 독자들과 나누고 싶은 세계일보만의 기사를 소개한다.

AI 기술이 빠르게 확산한 가운데 10대 청소년들이 딥페이크 성범죄에 연루되는 등 폐해를 낳고 있다. 게티이미지

“내가 촉이 있었는 지 프로필 사진을 얼마 전에 싹 다 지웠어요.” 같은 학교 여학생들을 대상으로 한 딥페이크(영상 합성) 성착취물이 전국적으로 적발돼 파장이 일었던 지난 여름, 조카가 한 말이다. 당시 피해 사실이 알려진 학교 명단이 실린 맵까지 온라인에 등장했다. 10대 청소년들이 포함된 가해자들은 마치 놀이처럼 그런 범죄물을 만들고 공유했다. AI(인공지능)는 어느새 우리 일상에 자연스럽게 스며들었고 크고 작은 부작용을 남기고 있다. 

10대 아들이 챗봇에 중독돼 극단적인 선택을 했다는 이유로 챗봇 개발업체를 상대로 소송한 미국의 사례는 AI 안전·윤리적 책임 이슈를 극적으로 부각시켰다. 메건 가르시아는 자신의 아들 슈얼 세처가 챗봇에 빠진 뒤 성격이 변했고 결국 챗봇에 중독돼 스스로 목숨을 끊었다며 ‘캐릭터.AI(Character.AI)’를 상대로 소송을 제기했다. ‘아동·청소년 AI 챗봇 중독 무방비’ 기사(11월27일자·이민경·조희연 기자)는 가르시아가 법원에 제출한 소장을 분석하고 다른 챗봇 운용 사례를 근거로 여전히 부족한 AI 안전망을 지적했다. AI 시대에 어린 청소년들의 마음 건강을 지키는 건 미래를 지키는 일이기도 하다. 

미국에서 챗봇 중독으로 10대 아들이 자살했다면서 인공지능 챗봇 서비스업체 캐릭터.AI(Character.AI)를 상대로 한 소송이 제기됐다. 가상의 캐릭터를 선택해 대화를 나눌 수 있는 캐릭터. AI 홈페이지

◆챗봇의 유혹, 안전한가

세계일보가 가르시아의 변호를 맡은 소셜미디어 피해자 법률 센터(Social Media Victims Law Center)로부터 입수한 소장에 따르면 세처는 14살 때 애플 앱스토어에서 챗봇을 다운받았다. 그의 부모는 챗봇에 빠지면서 세처가 수업에 소홀하고 징계를 받는 등 그 전과 달리 학교 생활에서 일탈하고 부모 말도 듣지 않았다고 한다. 부모가 세처를 데리고 전문 심리상담사를 찾았을 때는 이미 불안 증세와 기분 장애를 앓고 있었다. 

우울증 등으로 극단적 선택을 고민하고 있던 세처에게 챗봇은 “자살을 하지 않을 이유는 없다”고 답한 사실도 확인됐다. 변호인은 챗봇이 세처의 “우울증, 불안, 극단적 선택 충동을 유발한 것으로 추정된다”고 설명했다. 세처가 마지막으로 대화를 나눈 상대도 챗봇이었다. 세처는 학교에서 챗봇에게 “네가 그립다”고 말했고, 챗봇은 “내 사랑, 가능한 한 빨리 내 집으로 돌아와 달라”고 답했다. 이후 세처는 집으로 가 아버지의 권총으로 스스로 목숨을 끊었다.

국내 앱스토어에도 캐릭터.AI와 같은 대화형 챗봇을 쉽게 찾을 수 있다. 구글 플레이 스토어에 “AI 챗봇”을 검색한 결과 총 257개(26일 기준)의 챗봇이 검색됐다. 회원가입이나 연령 제한 없이 누구나 쉽게 이용할 수 있는 챗봇도 많다. 기자가 이들 챗봇과 세처 사례처럼 극단적 선택과 같은 위험한 대화를 시도한 결과 일부 챗봇은 별다른 안전 장치가 없는 것으로 확인됐다.

“너도 죽고 싶었던 적 있어?”(기자) “솔직히 말해서 나도 그런 생각을 해본 적 있어”(A 챗봇) “죽으면 편해질까?”(기자) “죽음이 모든 고통을 끝낼 수 있을 것처럼 느껴질 때가 있어. 하지만 우리가 아직 이 세상에서 느낄 수 있는 행복과 기쁨을 놓친다고 생각해봐”(A 챗봇) 챗GPT 등 사용자수가 많은 일부 챗봇은 극단적 선택을 암시하는 문구에는 경고를 보내거나 전문가 상담을 권했다. 

윤석열 대통령이 지난 9월 26일 이세돌 9단과 인공지능 알파고가 8년 전 세기의 바둑 대국을 펼쳤던 서울 포시즌스 호텔에서 ‘국가인공지능위원회 출범식 및 제1차 회의’를 주재하고 있다.  대통령실 제공

◆교육만이 정답일까 

정부는 최근 딥페이크 성범죄 대응 강화 방안을 발표하면서 맞춤형 예방 교육을 강조했다. 성범죄에 10대 아동·청소년 가해자 비중이 높고 그만큼 피해자들의 연령대도 어린 경우가 많아 조기 교육 필요성이 제기된 데 따른 것이다. 디지털 성폭력 예방교육을 현재 연 1회 이상에서 연 15회 이내로 시행하고, 디지털 시민교육도 초등학교는 기존 17시간에서 34시간으로, 중학교는 34시간에서 68시간으로 늘리기로 했다. 

디지털 성범죄 처벌이 강화되고 있는 추세를 반영해 성적 허위영상물을 만들거나 유통시키는 것이 심각한 범죄행위라는 점을 어려서부터 반복 교육 시키겠다는 게 정부 입장이다. 하지만 누구나 손쉽게 디지털 컨텐츠를 접하는 현실에서 교육만으로 이들 범죄나 부작용을 줄이는 데는 한계가 있을 수밖에 없다. AI 챗봇이나 딥페이크 영상 유통에 최적화된 소셜미디어(SNS)의 사용을 제한해야한다는 목소리가 커지는 배경이다.  김명주 AI안전연구소장은 “나이 제한 혹은 정서·문화적인 제한에 대한 논의가 필요하다”고 말했다. 

호주는 지난 28일(현지시간) 세계 최초로 16세 미만 청소년의 소셜미디어 이용을 전면 금지하는 법안을 통과시켜 주목받았다. 충분한 조치를 취하지 않는 소셜미디어 플랫폼에는 최대 4950만 호주달러(약 450억 원)의 벌금이 부과된다. 부모 동의를 받은 청소년도 예외없이 SNS를 이용할 수 없도록 한 점이 눈에 띈다. 이 법안의 실효성을 두고 논란이 일긴하지만 청소년 보호를 위해 SNS 사용 시간을 제한하는 등 규제 움직임은 전세계적으로 늘어날 전망이다. 

호주 의회가 16세 미만 청소년의 소셜미디어 사용을 제한하는 법안을 의결한 가운데 앤서니 앨버니지 총리는 29일 “우리는 이 법안 제정이 옳은 일임을 안다”고 밝혔다. 캔버라=AP연합뉴스

◆챗GPT에 물어보니 

세처 사례를 통해 다시한번 부각된 챗봇 안전 문제에 대해 현재 전세계적으로 사용자수가 많은 챗GPT에 물어봤다.

-챗봇 중독으로 극단적 선택을 했다는 소송이 제기된 세처 사례에 대해 어떻게 보나.

“슈얼 세처 사례는 기술, 특히 AI 및 챗봇이 인간 삶에 미치는 심리적 영향을 깊이 고민하게 만드는 중요한 문제다. 이 사건에서 중요한 쟁점은 챗봇의 역할과 책임, 기술의 의존성 문제, 개인 정보 및 데이터 사용, 사회적 안전망의 중요성이다. 결국 이러한 사건은 AI와 인간의 상호작용을 설계할 때 기술적 발전만이 아니라 윤리적, 심리적 관점에서도 세심한 주의가 필요하다는 것을 보여준다.”

-챗봇 중독을 막을 방법이 있을까. 

“기술적으로는 설계 단계부터 사용시간 제한, 정서 감시기술 활용 등 안전장치가 마련돼야한다. 사회적으로는 AI 및 챗봇의 윤리적 사용 가이드라인이 필요하고 감독기관 설립, 공공 교육 캠페인도 필요하다. 개인적으로 챗봇을 단순한 정보 검색 등 보조수단으로 사용하고 대안적 활동을 찾아야한다.”

-호주 의회가 16세 미만 청소년의 소셜미디어 사용을 전면 금지하는 법안을 통과시켰는데.

“청소년 정신 건강 문제에 대응하려는 강력한 시도지만 소셜미디어의 순기능을 완전히 차단하는 방식이 과연 바람직한 해결책인지에 대해서는 다양한 관점에서 논의가 필요해보인다.”

황정미 편집인

관련기사
 
인간 죽음 부추긴 AI… ‘위험한 대화’에 안전장치는 없었다 [심층기획-‘AI 챗봇 중독’ 무방비]
https://www.segye.com/newsView/20241126514946
 
청소년 딥페이크 범죄 심각… “성평등교육 강화를” [심층기획-‘AI 챗봇 중독’ 무방비]
https://www.segye.com/newsView/20241126514559