"충동강화 금지"…美캘리포니아 세계 첫 'AI 챗봇 규제법' 통과

개빈 뉴섬 주지사 서명만 남겨…내년 1월 발효 전망
구글·오픈AI 등 안전프로토콜 의무화…기준미달시 법적 책임

(서울=뉴스1) 김민석 기자 = 미국 캘리포니아 주가 인공지능(AI) 챗봇 또는 컴패니언과 대화를 하다 현실감각을 잃는 'AI 정신병' 현상으로부터 미성년자를 보호하기 위한 법을 내년부터 시행한다.

12일 IT 업계에 따르면 캘리포니아 주의회는 AI 컴패니언(동반자) 챗봇 규제 법안인 'SB-243'을 통과시켰다. 이 법안은 개빈 크리스토퍼 뉴섬 주지사의 서명만 남겨둔 상태다. 서명 기한은 다음달 12일까지다.

뉴섬 주지사가 서명하면 법안은 내년 1월 1일부터 발효돼 세계 첫 AI 챗봇 규제법이 될 전망이다.

AI 컴패니언은 단순 답변 생성 기능을 넘어 친구처럼 이용자와 상호작용하는 AI를 뜻한다.

문제는 감정 교류형 AI가 미성년자나 정신질환 취약계층에게 부정적 영향을 미칠 수 있다는 점이다.

AI 챗봇은 이용자의 의견·주장을 거울처럼 반사하며 증폭시키는 과정이 '에코챔버 효과'를 일으켜 취약 계층의 망상을 악화시킬 수 있는 것으로 나타났다.

또 이용자의 요구에 순응하도록 설계돼 우울감에 빠진 이용자의 자살 충동을 강화하거나 노골적인 성적 대화를 초래하는 등 논란이 됐다.

법안 핵심은 AI 챗봇 운영자에게 안전 프로토콜 마련을 의무화해 AI 챗봇(컴패니언)이 극단적 선택이나 자해, 성적인 대화 참여 등을 막는 데 있다.

미성년자에게는 3시간 마다 AI와 대화하고 있다는 사실을 알리고 휴식을 권고해야 한다.

이와 함께 오픈AI·캐릭터AI·리플리카 등 주요 AI 챗봇·컴패니언 기업들이 연례보고 및 투명성 요건을 마련해 2027년 7월 1일부터 시행한다는 내용도 담았다.

챗봇 기업은 필요한 기준을 충족하지 못할 경우 법적 책임을 져야 한다.

이에 아동·청소년·정신적 취약 계층 대상 AI 서비스 검증 절차, 콘텐츠 차단 시스템 고도화 등 후속 조치가 뒤따를 것으로 풀이된다.

업계는 이번 법안이 미국을 시작으로 전 세계의 AI 서비스 운영의 기준선이 될 것으로 보고 있다.

미국 연방거래위원회(FTC)도 아동과 청소년을 대상으로 AI 챗봇이 미치는 영향 조사에 전면 착수하고 알파벳(구글)·오픈AI·xAI·메타·스냅 등 7개 기업에 자료 제출을 요구했다.

지난달엔 미국 44개 주 법무장관이 12개 챗봇 기업에 아동 보호 장치 강화를 촉구하는 경고장을 보냈다.

미국 각 주와 FTC 등이 칼을 빼든 배경에는 최근 'AI 정신병' 현상이 속출한 데 이어 미국 캘리포니아주에서 극단적인 선택을 한 16세 소년 아담 레인(Adam Raine) 사건이 결정적 트리거가 됐기 때문으로 풀이된다.

ideaed@news1.kr

<용어설명>

■ 에코챔버 효과
에코챔버(echo chamber) 효과란 개인이나 집단이 자신과 비슷한 의견·정보·신념만 반복적으로 접하면서 다른 견해는 배제되는 현상을 의미한다. 에코챔버는 메아리 방이라는 뜻이다.

IT/과학