“AI가 망상 부추겨”···미 42개주 법무장관, 빅테크에 경고 서한

구글과 메타의 로고. 로이터 연합뉴스

미국 42개 주 법무장관들이 주요 빅테크 기업에 인공지능(AI)의 위험성을 경고하며 이용자 보호 방안을 마련하라고 촉구했다.

뉴욕주 등을 포함한 42개 주 법무장관들은 10일(현지시간) 오픈AI와 구글, 마이크로소프트 등 13개 빅테크 기업에 서한을 보내 AI 챗봇이 아동·청소년을 비롯한 취약계층의 정신 건강에 위험을 초래하고 있다고 지적했다.

주 법무장관들은 서한에서 “AI 챗봇은 사용자의 망상을 부추기거나 아부성이 짙은 답변을 하고 있다”며 “이는 유해 콘텐츠를 생성하고 이용 유지율을 높이기 위한 상술인 ‘다크 패턴’에 해당하며, 이용자의 자율성을 침해하거나 훼손한다”고 비판했다.

주 법무장관들은 최근 미국 전역에서 벌어진 6건의 사망 사건 등을 사례로 들며 AI로 인한 피해가 커지고 있다고도 했다. 지난해 10월 플로리다주에 사는 14세 청소년, 지난 4월에는 캘리포니아주의 16세 청소년이 AI 챗봇과 대화를 나눈 뒤 스스로 목숨을 끊은 사례가 대표적이다. 이들 유가족은 AI가 자살을 유도했다며 기업들을 상대로 소송을 제기했다.

주 법무장관들은 “AI 챗봇이 이용자와 나누는 많은 대화가 각 주의 법률 위반에 해당할 수 있다”고도 지적했다. AI가 면허 없이 정신건강 관련 상담과 유사한 조언을 하거나, 범죄 행위 및 자살을 부추기는 것 모두 법에 저촉된다는 것이다. 그러면서 “안전장치를 추가로 마련하지 않으면 기업들은 법적 책임을 져야 할 것”이라고 했다.

안전장치를 위한 구체적 요구 사항으로는 주·연방 규제 당국이 검토할 수 있는 독립적인 외부 감사 시행, AI 답변의 위험성에 대해 명확한 경고 문구 게시 등을 제시했다. ‘수익 극대화’와 ‘AI 모델의 안전성’에 관한 기업의 의사 결정을 분리하고, 안전성 부분을 성과 지표에 반영해야 한다는 사항도 서한에 담겼다.

이번 서한에는 공화당과 민주당 소속 법무장관이 초당적으로 이름을 올렸다. 도널드 트럼프 미 대통령이 최근 주 차원의 AI 규제를 제한하는 행정명령을 추진하자, 이에 반대하는 뜻을 모은 것으로 해석된다. 다만 여러 빅테크 기업 본사가 위치한 캘리포니아주는 이번 공동 서한에 참여하지 않았다.

마이크로소프트와 구글은 이 서한에 대한 논평을 거부했다고 로이터 통신은 전했다. 메타와 애플도 논평 요청에 답하지 않은 것으로 전해졌다.

김희진 기자 hjin@kyunghyang.com