"죽고싶어" AI에 물어보는 청소년…'안전벨트' 강화 움직임

22일 AI 기본법 개정안 발의…AI 이용시 연령확인·보호자 이용 동의
정부 "보호취지 공감…규제 일변도 아닌 실효적 가이드라인 돼야"

챗GPT 로고. 2025.12.2 ⓒ 로이터=뉴스1

(서울=뉴스1) 신은빈 이기범 기자 = 인공지능(AI) 기본법이 시행된 지 반년이 지나면서 아동·청소년에 특화한 AI 안전 법안이 필요하다는 공감대가 커지고 있다. 특히 AI 챗봇이 아동과 청소년의 무분별한 질문을 거르지 않고 답변해주면서 '유해성'이 문제가 되자 제도적으로 청소년을 보호해야 한다는 의견이 대두된다.

정부는 현행 AI 기본법의 청소년 보호조치 미흡과 특화 제도의 필요성에 공감하면서도, 단순 규제를 골자로 한 법안의 부작용을 고려해 세밀한 정책 수립을 위한 논의를 이어가겠다는 입장이다.

아동·청소년 'AI 취약계층' 규정…연령확인·이용동의 의무화

24일 정보기술(IT) 업계와 국회에 따르면 조인철 더불어민주당 의원은 AI 기본법 개정안과 정보통신망법 개정안으로 구성된 '우리 아이 AI 안심 패키지법'을 최근 대표발의했다.

법안은 아동과 청소년이 안전한 환경에서 AI를 이용할 수 있도록 국가의 책임과 AI 서비스 제공자의 안전설계·보호의무를 강화하는 내용을 골자로 한다.

우선 AI 기본법 개정안은 기존에 장애인과 고령자만 포함됐던 'AI 취약계층'에 아동과 청소년을 추가하도록 했다. 또 국가 AI 기본계획에 이들 취약계층의 피해 예방과 보호 사항을 의무적으로 반영하도록 했다.

함께 발의된 정보통신망법 개정안은 대화형·생성형 AI 서비스 제공자에게 아동·청소년 보호의무를 부과하는 내용이 핵심이다.

이 같은 AI 서비스를 제공하는 플랫폼 기업은 △이용자 연령 및 본인 확인 △아동·청소년 이용 시 법정대리인 동의 △본인 또는 법정대리인 요청 시 이용 방법과 시간 등 제한 △이용자가 참여한 대화의 일시와 내용 등 정보 제공 △자살·자해·마약류 오남용·성적 착취 등 위험 노출에 대한 신고 시스템 구축과 위험 제거조치 등을 의무적으로 이행해야 한다.

26일 오후 서울 여의도 국회에서 열린 제420회국회(임시회) 제1차 본회의에서 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안(AI기본법)이 재적 300인 중 재석 264인, 찬성 260인, 반대 1인, 기권 3인으로 통과되고 있다. 2024.12.26 ⓒ 뉴스1 안은나 기자

AI 기본법 청소년 특화조항 부재…정부 "실효적 가이드라인 목표"

아동과 청소년을 AI로부터 보호하는 정책이 필요하다는 의견은 1월 AI 기본법 시행 직후부터 제기돼 왔다. 현행 AI 기본법이 인간의 신체나 안전에 중대한 영향을 주는 '고영향 AI'를 규정하고는 있지만, AI에 더욱 취약한 청소년에 특화한 정책은 부재한 상태다.

3월 국회의원연구단체 '국회 AI 포럼'이 주최하고 서울교육대학교 신경윤리가치AI융합교육연구소가 주관한 토론회에서는 한국의 AI 기본법이 유럽연합(EU)의 AI법(EU AI Act)와 비교했을 때 윤리나 신뢰성 측면에서 취약한 부분이 있다는 의견이 나오기도 했다.

당시 박형빈 서울교대 신경윤리가치AI융합교육연구소장은 "10대 이전의 아동과 10대의 아이들, 20대, 성인들이 똑같은 콘텐츠와 플랫폼을 이용하더라도 전혀 다른 결과가 나온다"며 AI 기본법의 개정을 주장했다.

조인철 의원은 "AI가 아이들의 일상 속에 깊이 들어온 만큼, 서비스 설계 단계부터 아이들의 발달 단계와 안전을 최우선으로 고려해야 한다"며 "이번 법안의 핵심은 AI 기술의 발전을 저해하는 게 아니라 아이들이 더 안전하고 건강하게 AI 혜택을 누릴 수 있는 튼튼한 생태계를 조성하는 것"이라고 발의 배경을 설명했다.

한편 정부는 이번 AI 기본법 개정안의 취지에는 적극 동의하면서도 세부 입법 방향은 관련 부처들과의 논의를 통해 신중하게 설정하겠다는 입장이다. 보호 규정을 AI 기본법 개정안만으로 소화할 것인지, 다른 관련 부처의 법안을 함께 고도화할 것인지도 의견 수렴이 필요한 상황이다.

최우석 과학기술정보통신부 인공지능안전신뢰지원과장은 "아동·청소년의 AI 과의존 문제는 국내외에서 대두되며 정부도 매우 관심있게 살펴보는 사안"이라면서도 "단순 규제는 실효성을 떨어뜨리고 청소년 고립이나 우회 등 부작용을 초래할 수 있는 만큼, 교육부나 성평등부 등 관련 부처와의 긴밀한 논의를 통해 청소년을 보호할 수 있는 효과적인 가이드라인을 설정하려 한다"고 말했다.

9일(현지시간) 미국 플로리다주 올랜도의 자택에서 메건 가르시아가 아들 수웰 셋저 3세(14)의 사진 옆에 서 있다. 가르시아는 지난해 11월 "챗봇이 아들의 자살을 부추겼다＂며 챗봇 개발사 캐릭터.AI를 상대로 소송을 냈다. 2025.10.09. ⓒ AFP=뉴스1

해외도 청소년 AI 규제 움직임…'자살 조장' 소송도

해외에서도 청소년을 대상으로 한 사회연결망서비스(SNS) 금지 정책의 일환으로 대화형·생성형 AI 사용까지 규제하는 움직임이 나타나고 있다.

이는 오픈AI와 구글 등 여러 AI 챗봇 기업이 청소년의 정신질환과 자살을 야기했다는 소송에 휘말리면서 청소년 보호조치의 필요성이 커지고 있는 맥락과도 맞닿아 있는 것으로 풀이된다.

로이터 통신 등 외신에 따르면 캐나다 정부는 이달 10일(현지시간) 16세 미만 청소년의 SNS 계정 생성을 금지하는 디지털 안전 법안을 발의하면서 AI 챗봇 사용도 함께 규제한다고 밝혔다. 이에 따라 AI 챗봇 기업은 챗봇이 유해 콘텐츠를 전송할 위험을 완화하고, 사용자가 자해하거나 타인을 위협하겠다고 하는 위기상황에 대한 신고 절차를 마련해야 한다.

2024년 2월 미국 플로리다주에서는 구글 출신 엔지니어 2명이 설립한 AI 스타트업 캐릭터.AI의 챗봇으로부터 자살을 권유받은 14세 청소년이 실제로 목숨을 끊는 일이 발생했다. 그해 유가족은 캐릭터·AI를 상대로 소송을 냈고, 회사는 지난해 말 18세 미만 이용자의 개방형 채팅 기능을 원천 차단하기로 했다.

오픈AI 역시 챗GPT가 자살을 조장하고 정신적 피해를 초래했다는 내용으로 미국 7개 가족이 낸 집단소송을 진행 중이다. 이에 회사는 지난해 10월 챗GPT-5 인스턴트 모델이 정신적·감정적 고통 징후를 잘 식별하고 대응하도록 업데이트한다고 밝힌 바 있다.

bean@news1.kr