AI 캐릭터 챗 '어비스' 서비스 종료…성인 콘텐츠 등 윤리 문제 수면 위로

생성형 인공지능(AI) 기반 캐릭터 챗(챗봇) 서비스가 성인 콘텐츠 이용 문제로 전자지급결제대행(PG)사로부터 계약 해지당하는 일이 벌어졌다. AI 윤리 문제가 결제망 제재까지 이어진 첫 사례다.

15일 업계에 따르면 토스페이먼츠는 지난달 말 가맹사인 '어비스'가 성인물을 판매했다며 계약 해지를 통보하고 결제 서비스를 중단했다.

어비스는 가상인물과 대화할 수 있는 AI 캐릭터 채팅 서비스로, 이용자가 직접 캐릭터를 만들어 다른 사람에게 제공할 수 있는 구조다. 이때 일부 성인 캐릭터 콘텐츠 이미지가 미성년자에게 노출된 것이 문제가 됐다.

토스페이먼츠 측은 “전신 노출 수준의 성인물이 제공되고 성인 인증 절차도 없이 미성년자도 콘텐츠를 구매할 수 있었기 때문에 즉시 계약 해지 조치 수준에 해당했다”고 말했다.

어비스 운영사 피프트 관계자는 “성인 인증과 콘텐츠 검열을 최대한 시행했지만, 결제사에서 본보기 차원의 조치를 내린 것 같다”며 “단순 결제 중지만이 아니라, 최근 2달 매출금 정산이 최소 3개월 이상 보류돼 자금 흐름에 치명적 문제가 발생하는 등 서비스를 지속할 수 없었다”고 밝혔다. 어비스는 내달 4일 서비스를 종료하다고 공지를 올렸다.

이번 사태는 AI 캐릭터 챗 서비스가 결제사로부터 성인 콘텐츠 제공을 이유로 계약 해지를 당한 첫 사례다. 과거 국내에서 AI 챗봇 '이루다'가 개인정보 침해와 AI 윤리 논란으로 서비스를 자체 중단한 바 있다.

어비스 운영 종료 공지

생성형 AI 기술이 급속히 발전하면서 AI 캐릭터 챗봇 서비스도 빠르게 늘고 있어 이 같은 사례도 지속 증가할 전망이다.

AI 캐릭터 채팅 서비스 중 일부는 이용자가 캐릭터를 직접 생성, 맞춤형으로 제작하고, 운영사는 다른 이용자가 이 캐릭터에 유통·접근할 수 있는 시스템을 제공한다. 단순한 성인 인증, 모니터링·검열이나 삭제만으로는 문제 콘텐츠가 미성년자에게 노출되는 것을 완전히 차단할 수 없다.

업계 관계자는 “AI 캐릭터 챗봇 서비스 이용자가 캐릭터를 제작하고 플랫폼은 이를 내부에서 유통하는 식으로 경계가 흐려지고 있다”며 “AI 캐릭터 챗봇은 게임이나 웹툰과 달리 자율 연령 등급 제도가 없어 문제 해결도 쉽지 않다”고 설명했다.

해외에서는 비자, 마스터카드 등 글로벌 카드사들이 온라인 플랫폼에 제공하는 일부 성인 콘텐츠에 대해 결제를 중단한 바 있다. 이는 사실상 해당 콘텐츠 유통을 차단하면서 검열 논란을 불러 일으키기도 했다.

AI 기업들은 청소년보호법 등 법적 규제와 성인 이용자 표현의 자유를 동시에 만족시켜야 하는 어려움이 있다고 지적한다. 모니터링만으로는 역부족이며, 기업의 자율 규제와 정부 차원의 제도적 규제 병행이 필요하다는 설명이다.

김명주 AI안전연구소장은 “기업은 모니터링과 제재 등 기술적 조치와 함께 자율적 가이드라인 등 자정활동을 강화해야 한다”며 “기업이나 개발자뿐만 아니라 이용자 단위의 책임있는 생성형 AI 활용과 문화 확산을 위한 교육, 노력이 필요하다”고 강조했다.

김명희 기자 noprint@etnews.com, 박두호 기자 walnut_park@etnews.com