‘AI와의 위험한 대화, 실행 막는다’… 챗GPT, 알림 기능 도입

오픈AI, ‘신뢰하는 사람’등록 신설
자해 등 심각한 위험 감지 시 전달
“현실 세계의 도움과 연결되도록”

연합뉴스

생성형 인공지능(AI) 챗GPT가 사용자와 대화 중에 자해 등 심각한 위험 신호를 감지할 경우 이를 이용자와 가까운 인물에게 알림을 전달하는 기능을 도입한다. AI 챗봇 사용자들이 자살이나 자해를 시도하거나, 타인을 겨냥한 범죄를 저지르는 등 부작용 사례가 잇따라 발생하면서 보다 적극적인 대응책 마련에 나선 것이다.

10일 업계에 따르면 오픈AI는 최근 챗GPT에 ‘신뢰하는 사람’ 등록 기능을 도입했다. 만 19세 이상 사용자가 가족이나 보호자 등 믿을 수 있는 대상을 미리 지정해두면, 챗GPT가 대화 맥락에서 위험을 감지하는 즉시 등록된 인물과 사용자를 연결하는 구조다.

해당 기능은 신뢰하는 사람으로 지정된 인물이 ‘안심 연락처 지정’을 수락한 시점부터 활성화된다. 위험 신호가 포착되면 챗GPT는 우선 사용자에게 상황을 인지시키고 스스로 도움을 청하도록 유도한다. 그럼에도 문제가 지속될 때에는 ‘신뢰하는 사람에게 알림을 보낼 수 있다’는 안내 문구가 나타난다. 이후에는 전문 교육을 받은 ‘사람’이 개입한다. 상황이 정말로 위급한지를 살펴보고, 최종적으로 사용자 안전에 우려가 있다고 판단될 경우 등록된 연락처로 이메일이나 문자메시지, 앱 알림 등 간단한 알림이 전달된다. 개인정보 보호를 위해 대화 원문이나 세부 내용은 알림에 포함되지 않는다.

오픈AI는 자사의 글로벌 의료 전문가 네트워크와 웰빙·AI 전문가 자문위원회 등의 도움을 받아 해당 기능을 설계했으며, 미국심리학회(APA)를 비롯한 외부 전문 기관과도 협력했다고 설명했다. 고기석 오픈AI 정책 총괄은 “AI 시스템은 사용자가 힘든 순간에 현실 세계의 도움과 연결될 수 있도록 설계돼야 한다는 취지에서 기능을 도입했다”고 말했다. 아울러 모든 알림은 전문 인력의 검토를 거친 뒤 발송되며, 위험이 감지된 후 1시간 이내 조치를 취하는 것이 목표라고 덧붙였다.

이번 정책은 오픈AI가 기존에 내놓은 ‘자녀 보호 기능’을 성인 사용자 범위까지 전격 확대한 것이다. 만 13세 이상 청소년 계정에서는 지난해 8월부터 급성 스트레스 징후 등이 감지될 경우 부모 또는 보호자가 알림을 받을 수 있는 기능이 운영돼 왔다.

실제 전 세계적으로 챗GPT 서비스를 이용하던 중 사용자가 자살이나 자해, 혹은 타인을 겨냥한 범죄를 저지르는 등 위험 사례가 잇따르고 있다. 지난해 8월 미국에서는 챗GPT와 몇 달간 극단적 선택에 관해 상담한 뒤 실제 실행에 옮긴 16세 소년 애덤 레인의 부모가 소송을 냈는데, 오픈AI가 ‘법적 책임을 질 수 없다’는 입장을 내면서 논란이 일기도 했다.

AI 안전망을 무력화하는 ‘탈옥’에 대한 방어는 여전히 과제로 남아 있다. 한 AI 업계 관계자는 “사람이 개입할 수 있는 지점을 만들어 둔 것은 긍정적”이라면서도 “AI 안전기능이 발전할수록 이를 우회하려는 움직임도 교묘해지기에 지속적인 점검이 필요한 부분”이라고 말했다.

박선영 기자 pomme@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지