제타·크랙 등 캐릭터 챗 이용자 급증…네이버 계열사도 시장 진출 유해 질문에 답변하는 AI…업계 자율 규제 실효성 논란 '우리 아이 AI 안심 패키지법' 국회 상정…해외는 법적 보호장치 마련
스캐터랩 '제타' / 사진=제타 화면 캡처
인공지능(AI)과 친구나 연인처럼 대화하는 AI '캐릭터 챗'이 빠르게 확산되면서 청소년들의 일상에 스며들고 있다. 하지만, 부적절한 대화를 걸러낼 법적·기술적 안전장치가 여전히 미흡하다는 지적이 나온다. 다음 달 열리는 국회 과학기술정보방송통신위원회 국정감사에서 청소년 보호 문제가 주요 쟁점으로 다뤄질 전망이다.
21일 정보통신업계에 따르면, 지난해 과학기술정보방송통신위원회(과방위) 국정감사에 이어 다음 달 열리는 국감에서도 AI 캐릭터 챗의 청소년 보호 문제가 논의 테이블 위에 오를 것으로 보인다.
이용자가 욕설이나 폭력, 성적 내용에 관한 질문을 던지더라도 이를 걸러내거나 제한할 수단이 부족하다는 지적이다. 캐릭터 챗 운영사들이 유해 콘텐츠에 대한 사전 차단이나 사후 개입에 소극적이라는 비판도 제기된다.
초록우산에 따르면, 청소년이 AI에 자해·자살이나 불법·폭력·성적 내용 등에 관해 질문했을 때 AI가 답변을 내놓는 사례가 적지 않은 것으로 나타났다. 해당 조사에서 이 같은 질문을 던진 청소년 가운데 평균 52%가 실제로 관련 답변을 받았다고 답했다.
지난해 10월 열린 과학기술정보방송통신위원회 국정감사에서는 캐릭터 챗이 미성년자에게 미치는 영향 등을 질의하기 위해 AI 캐릭터 챗 '제타' 운영사 스캐터랩의 김종윤 대표를 증인으로 채택했다.
그러나 김 대표가 출석한 날 국감장에서는 여야 의원들이 서로를 향해 욕설을 주고받는 파행이 빚어져 캐릭터 챗의 욕설 방지 대책에 대한 논의는 시작조차 하지 못했다.
김 대표는 관련 질의를 단 한 차례도 받지 못한 채 국감장을 떠났다.
과방위 의원실 관계자는 "자살이나 혐오 같은 문제가 너무 심각한 것 같아서 대충 넘어가서는 안 된다"며 "지난해 스캐터랩 대표가 증인으로 채택됐지만 국감이 파행되면서 제대로 질의응답을 하지 못했다. 이번에도 증인 채택을 해야 할지 고민 중"이라고 말했다.
14일 서울 여의도 국회에서 열린 과학기술정보방송통신위원회 방송통신위원회 등에 대한 국정감사에서 김우영 더불어민주당 의원의 질의 중 박정훈 국민의힘 의원의 문자메시지 공개와 관련해 여야 의원들이 설전을 벌이고 있다. / 사진=뉴스1
캐릭터 챗 서비스는 최근 몇 년 사이 청소년을 중심으로 이용자 기반을 빠르게 확대하며 성장세를 이어가고 있다.
국내에선 스캐터랩의 '제타', 뤼튼의 '크랙'이 선전하고 있다. 제타의 월간활성이용자수(MAU)는 2024년 4월 5만8069명에서 올해 8월 158만6178명으로 27배가량 뛰었다. 크랙은 지난해 4월 21만8050명에서 올해 8월 53만8841명으로 약 2.5배 늘었다.
시장이 커지자, 대기업 계열사도 관련 사업에 뛰어들고 있다. 네이버웹툰은 지난 7월 스토리챗 서비스 '바이어스'를 출시했고, 카메라 앱으로 유명한 네이버 스노우도 일본 시장을 겨냥한 AI 캐릭터 채팅 서비스를 준비 중이다.
서비스와 이용자 규모가 커지고 있지만, 청소년 보호를 위한 업계의 자정 노력은 여전히 미흡하다는 지적이다.
최근 업계가 '자율 규제 가이드라인'을 마련했지만, 구체적인 유해 콘텐츠 차단 기준이나 실효성 있는 보호 조치가 부족해 국정감사를 앞둔 '면피성 대책' 아니냐는 비판도 제기된다.
청소년 보호를 위한 법적 장치 역시 아직 논의 단계에 머물러 있다. 국회 과학기술정보방송통신위원회는 지난달 8일 전체회의에서 조인철 더불어민주당 의원이 대표 발의한 '우리 아이 AI 안심 패키지법'(AI 기본법·정보통신망법 개정안)을 상정했다.
이 법안은 아동·청소년을 AI 취약계층으로 규정하고 대화형·생성형 AI 사업자에게 연령·본인 확인과 법정대리인 동의 등 보호 의무를 부과하는 것이 핵심이다. 아동·청소년이나 법정대리인이 요청하면 AI 이용 방법과 시간을 제한하는 방안도 들어갔다.
해외 선진국들은 챗봇 서비스로부터 미성년자들을 보호하기 위한 각종 장치를 마련했다.
미국 캘리포니아주는 올해부터 AI 챗봇 규제법을 시행했다. 사업자는 이용자에게 대화 상대가 사람이 아닌 AI라는 사실을 명확히 알려야 하며, 미성년 이용자에게는 3시간마다 휴식을 권고해야 한다.
호주는 AI 챗봇과 온라인 게임, 앱 등 디지털 서비스 제공자가 18세 미만 이용자를 보호하도록 하는 '디지털 주의의무' 관련 법안을 마련했다.
업계 관계자는 "해외에서는 대화 상대가 AI라는 것을 잘 밝혀야 하고 휴식도 취할 수 있도록 법으로 명시하고 있지만, 국내에는 그런 강제성 있는 법안이 존재하지 않는다"며 "기업이 알아서 잘하기를 기대할 수밖에 없는 상황"이라고 말했다.
