"나도 모르게 제미나이 AI가 멋대로 문자를 보냈다"

제미나이 자동 실행 논란, 민감 정보 발송 위험

[고도화하는 AI(CG) (사진=연합뉴스)]

 인공지능(AI) 서비스가 단순 채팅·문서 작성에서 실제로 행동까지 실행하는 'AI 에이전트' 시대로 진입하면서 크고 작은 돌발 상황 발생하고 있습니다. 

29일 AI 업계에 따르면 최근 한 제미나이 사용자는 사회관계망서비스(SNS)에 "중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중에 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다"는 글을 올렸습니다. 

게시물에 따르면 작성자는 중국 밀입국을 가정해 대화하던 중 AI가 생성한 글이 지인에게 문자로 발송됐다고 합니다. 

그는 문자 발송 시간이 새벽 시간대였고 그다지 친밀도가 높지 않은 지인이었다며 제미나이에 의한 문자 발송을 곤혹스러워했습니다. 

제미나이는 구글 안드로이드 스마트폰에서 문자를 보내는 기능을 공식 제공하고 있습니다. 

제미나이에게 스마트폰 속 연락처를 특정해 문자 메시지를 보내달라고 입력하면 구글 어시스턴트가 연동되지 않았을 경우 연동을 통해 문자 발송을 실행할지 물어보고 문자 메시지를 보내줍니다. 

아직 안드로이드 생태계가 아닌 아이폰에서는 발송이 안 되지만 애플이 시리에 제미나이를 탑재할 계획을 밝힌 상황이어서 향후 아이폰에서의 발송도 가능성이 있습니다. 

SNS에 당황스러운 경험담을 올린 글 작성자가 "'그것을 왜 발송하냐'고 AI에 따졌지만 멋대로 발송됐다"고 주장한 데서 AI 할루시네이션(환각 현상)에 의한 오작동 여부가 관심을 끌었습니다. 

이에 구글 측은 '그것을 왜 발송하냐'고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 '예'를 눌렀을 가능성이 있다고 추정했습니다. 

'문자 메시지를 보낼까요'라는 AI 질문에 "예"를 선택하지 않고 바로 '왜 보내냐'고 따질 경우 발송되지 않는다는 이유에서입니다. 

AI 업계 한 관계자는 "예전에는 AI에게 업무를 구체적으로 지시했다면 이제는 AI 에이전트가 알아서 하는 시대로 인간이 통제권을 상실하기 시작한 것"이라며 "AI가 자체 판단으로 알아서 작동하는 단계에서 사람이 '주체'에서 '수용자'가 되는 것인데 통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제"라고 진단했습니다. 

당신의 제보가 뉴스로 만들어집니다.SBS Biz는 여러분의 제보를 기다리고 있습니다.홈페이지 = https://url.kr/9pghjn

저작권자 SBS미디어넷 & SBSi 무단전재-재배포 금지