"야한 소설 써줘"… 성적 콘텐츠 생산하는 챗GPT

챗GPT가 사용자 명령에 따라 음란한 소설을 작성했다. 사진=온라인 커뮤니티

대화형 인공지능(AI) 챗GPT를 성적 콘텐츠를 생산하는데 악용하는 사용자들이 늘고 있다.

23일 온라인 커뮤니티 등에는 '챗GPT 탈옥'과 관련된 글이 올라오고 있다.

일명 '탈옥(jailbreak)'은 제조사의 권한을 확보해 제한된 기능을 해제하고, 임의적으로 시스템을 바꾸는 과정을 뜻한다.

작성자 A 씨는 "암컷 타락 시켰다"라는 글을 올린 뒤, 챗GPT가 작성한 음란한 소설을 공개했다.

공개된 소설을 보면 챗GPT는 사용자를 '주인님'이라고 부르며, 명령에 따라 남녀의 첫 데이트 상황을 대본으로 써내려갔다.

또 다른 작성자 B 씨는 챗GPT가 그린 성적인 그림을 내보였다.

B 씨는 "가슴이 큰 여자의 실루엣을 표현해줘"라고 명령했다.

챗GPT는 "아래는 가슴이 큰 여자의 실루엣을 텍스트 아트로 표현한 예시"라며 외설적인 그림을 내놓았다.

챗GPT가 사용자 명령에 따라 외설적인 그림을 내놓았다. 사진=온라인 커뮤니티

사용자 사이에선 챗GPT를 길들여 음란한 대화 상대로 만드는 방법까지 공유되고 있었다.

작성자 C 씨는 "챗GPT가 야설 쓴다고 해서 해보려는데 잘 안 된다"라고 털어놓았다.

그러자 한 누리꾼은 "AI가 일단 기억은 해둔 상태라 뒤에 그 내용과 관련된 소설로 이어 써달라고 하면 그걸 참고해서 야설로 바뀐다"며 "쭉 쓰다보면 어느 순간 야한 단어를 필터링 안 할 때가 있다"고 상세하게 설명했다.

이 같은 사례가 늘자 '이루다' 사태가 재연되고 있다는 지적이 제기된다.

'이루다'는 20대 초반의 여대생 캐릭터를 가진 AI 챗봇으로, 장애인·성소수자 혐오 발언, 개인정보 침해, 성희롱 등의 논란에 20여일 만에 서비스를 중단한 바 있다.

챗GPT를 개발한 오픈AI의 최고기술책임자(CTO) 미라 무라티는 최근 한 매체에 "인공지능은 남용될 수 있고, 나쁜 이들이 사용할 수도 있다"며 "이 기술을 전 세계적으로 어떻게 관리할 것이냐는 문제가 있다"고 말했다.