“제미나이가 새벽에 맘대로 회사동료에 문자 보냈다”…“이 기능 당장 꺼야”

제미나이 [구글코리아]

[헤럴드경제=김보영 기자] 인공지능(AI) 서비스가 단순 채팅·문서 작성을 넘어 실제 행동까지 수행하는 ‘AI 에이전트’ 단계로 진입하면서, 예기치 못한 돌발 상황에 대한 우려가 커지고 있다.

29일 AI 업계에 따르면 최근 한 제미나이 사용자는 사회관계망서비스(SNS)에 “중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중에 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다”는 글을 올렸다.

게시물에 따르면 작성자는 중국 밀입국 가상 상황을 가정해 제미나이와 대화하던 중 AI가 생성한 ‘밀입국 선언문’이 회사 동료에게 문자로 발송됐다고 설명했다.

그는 “제미나이가 갑자기 선언문을 보내겠다고 했다”며 “‘왜 보내느냐’고 했지만 제미나이가 발송해버렸다”고 말했다. 작성자는 문자 발송 시간이 새벽 5시였고 크게 친분이 없는 지인이었다며 곤혹스러워했다.

제미나이는 자동으로 앱에 접근해 메시지 전송이나 통화 기능 등을 수행할 수 있다. 사용자가 문자 메시지를 보내달라고 입력하면 문자 발송을 실행할지 물어보고 문자 메시지를 보내주는 방식이다. 이 기능은 사용자가 메시지 앱이나 통화 앱에 대해 직접 차단 설정을 해야만 막을 수 있다.

이번 사례를 두고 작성자가 “‘그것을 왜 발송하냐’고 AI에 따졌지만 멋대로 발송됐다“고 주장한 데서 AI의 ‘할루시네이션(환각)’에 따른 오작동 가능성도 제기된다. 이에 대해 구글 측은 ‘그것을 왜 발송하냐’고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 ‘예’를 눌렀을 가능성이 있다고 추정했다. ‘문자 메시지를 보낼까요’라는 AI 질문에 “예”를 선택하지 않고 바로 ‘왜 보내냐’고 따질 경우 발송되지 않는다는 것이다.

다만 사용자가 AI와 대화하는 과정에서 의도치 않게 ‘예’를 선택했을 경우에도, 민감한 내용이 발송해서는 안 되는 수신자에게 전달될 수 있다는 점에서 이를 한 번 더 차단할 수 있는 별도의 안전장치가 없다는 점은 문제로 지적된다.

이 같은 우려는 24시간 이메일 답장, 브라우저 조작, 코딩, 결제 등 다양한 업무를 수행하며 ‘아이언맨’ 속 AI 비서 ‘자비스’의 현실판으로 불리는 AI 에이전트 ‘클로드봇(Clawdbot·현재 명칭 몰트봇)’을 둘러싸고도 제기된다.

클로드봇은 실리콘밸리 등 개발자 사회에서 선풍적인 인기를 끌고 있지만, 개인 PC에 접속해 AI 에이전트 역할을 수행하면서 채팅 기록과 같은 개인정보와 API 키를 유출할 수 있는 위험이 있다는 지적이 나오고 있다.

AI 업계 한 관계자는 “예전에는 AI에게 업무를 구체적으로 지시했다면 이제는 AI 에이전트가 알아서 하는 시대로 인간이 통제권을 상실하기 시작한 것”이라며 “AI가 자체 판단으로 알아서 작동하는 단계에서 사람이 ‘주체’에서 ‘수용자’가 되는 것인데 통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제”라고 진단했다.