“제미나이에 짝사랑 상담했더니 멋대로 문자 발송”…실화라면 정말 ‘소름’

[삼성전자]

인공지능(AI)이 사람과의 대화를 통해 생성된 특정한 문자나 글을 제멋대로 타인에게 전송하는 사례가 나타나 주의가 요구된다.

AI 서비스를 통해 단순 채팅·문서 작성에서 실제로 행동까지 실행하는 ‘AI 에이전트’ 시대로 진입하면서 발생하는 돌발적 상황에 대한 대비가 필요하다는 지적이 나온다.

29일 AI 업계에 따르면 최근 한 제미나이 사용자는 소셜미디어(SNS)에 올린 글에서 “중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중, 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다”고 전했다.

SNS 게시물에 따르면 글 작성자는 중국 밀입국을 가정해 AI와 대화하던 중, 이때 생성된 글이 지인에게 문자로 발송됐다는 것이다. 그는 특히, 문자 발송 시간이 새벽 시간대였던 데다 친밀도가 높지 않은 지인이어서 제미나이에 의한 문자 발송에 곤욕을 치러야 했다.

SNS 글 작성자는 “‘그것을 왜 발송하냐’고 AI에 따졌지만 멋대로 발송됐다”고 주장했다. 이같은 대목에서 미뤄볼 때 AI 할루시네이션(환각 현상)에 의한 오작동 여부에 관심이 모아진다.

이같은 소식이 전해지자 구글 안드로이드 스마트폰 이용자들 사이 비슷한 경험을 했다는 반응이 속출했다. “제미나이한테 짝사랑하는 사람 상담을 하면 수시로 제미나기아 문자를 보내준다”라거나 “제미나이가 대화 도중 폭주하더니 인권위에 직접 전화를 걸었다”는 사례가 대표적이다.

제미나이는 현재 구글 안드로이드 스마트폰에서 문자를 보내거나 전화를 거는 기능을 공식 제공하고 있다.

제미나이에게 스마트폰 속 연락처를 특정해 문자 메시지를 보내달라고 입력하면 구글 어시스턴트가 연동되지 않았을 경우 연동을 통해 문자 발송을 실행할지 물어보고 문자 메시지를 보내준다.

이와 관련 구글 측은 ‘그것을 왜 발송하냐’고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 ‘예’를 눌렀을 가능성이 있다고 추정했다.

다만, 사용자가 AI와 대화하다 부지불식간에 ‘예’를 눌렀을 경우이더라도 민감한 내용이 발송돼선 안 되는 수신자에게 보내질 가능성이 여전히 열려 있다. 따라서 이 때에도 한 번 더 이를 제어할 수 있는 ‘안전장치’가 없다는 점이 문제로 지적된다.