“AI가 제멋대로 지인에 문자 보냈다”…제미나이 ‘민감 정보’ 발송 위험 우려

제미나이 자동 실행 논란
안전장치 없는 AI 에이전트
‘자비스’ 클로드봇도 안전 우려

고도화하는 AI [연합뉴스]

인공지능(AI)이 인간과의 대화를 통해 생성된 특정한 문자나 글을 제멋대로 타인에게 전송하는 사례가 나타나 주의가 요구된다.

AI 서비스를 통해 단순 채팅·문서 작성에서 실제로 행동까지 실행하는 ‘AI 에이전트’ 시대로 진입하면서 발생하는 돌발적 상황에 대한 대비가 필요하다는 지적이 나온다.

29일 AI 업계에 따르면 최근 한 제미나이 사용자는 소셜미디어(SNS)에 올린 글에서 “중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중, 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다”고 전했다.

SNS 게시물에 따르면 글 작성자는 중국 밀입국을 가정해 AI와 대화하던 중, 이때 생성된 글이 지인에게 문자로 발송됐다는 것이다. 그는 특히, 문자 발송 시간이 새벽 시간대였던 데다 평소 그다지 친밀도가 높지 않은 지인이어서 제미나이에 의한 문자 발송에 곤욕을 치러야 했다.

제미나이는 구글 안드로이드 스마트폰에서 문자를 보내는 기능을 공식 제공하고 있다.

제미나이에게 스마트폰 속 연락처를 특정해 문자 메시지를 보내달라고 입력하면 구글 어시스턴트가 연동되지 않았을 경우 연동을 통해 문자 발송을 실행할지 물어보고 문자 메시지를 보내준다.

안드로이드 생태계가 아닌 아이폰에선 발송이 안 되지만 애플이 시리에 제미나이를 탑재할 계획을 밝힌 상황이어서 향후 아이폰에서의 발송도 가능해질 수 있다.

SNS 글 작성자가 “‘그것을 왜 발송하냐’고 AI에 따졌지만 멋대로 발송됐다”고 주장했다는 대목에서 미뤄볼 때 AI 할루시네이션(환각 현상)에 의한 오작동 여부에 관심이 모아진다.

이에 구글 측은 ‘그것을 왜 발송하냐’고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 ‘예’를 눌렀을 가능성이 있다고 추정했다. ‘문자 메시지를 보낼까요’라는 AI 질문에 “예”를 선택하지 않고 바로 ‘왜 보내냐’고 따질 경우 발송되지 않는다는 이유에서다.

다만, 사용자가 AI와 대화하다 부지불식간에 ‘예’를 눌렀을 경우에도 민감한 내용이 발송돼선 안 되는 수신자에게 보내질 가능성이 있다는 것이다. 이 때에도 한 번 더 이를 제어할 수 있는 ‘안전장치’가 없다는 점이 문제로 지적된다.

24시간 이메일 답장, 브라우저 조작, 코딩, 결제 등 업무를 수행하며 영화 아이언맨 속 AI 비서 ‘자비스’가 실제로 구현됐다는 평가를 듣고 있는 AI 에이전트 ‘클로드봇(Clawdbot·현재 명칭 몰트봇)’의 출현에서도 비슷한 우려가 감지된다. 클로드봇은 실리콘밸리 등 개발자 사회에서 선풍적인 인기를 끌면서도 정보 유출 등의 우려가 덩달아 커지고 있는 상황이다.

개발자들이 쉬지 않고 코딩해주는 클로드봇을 전력 소비가 적은 애플 맥미니에서 구동하려는 수요가 폭발하면서 맥미니 품귀 사태까지 벌어지고 있다. 하지만, 클로드봇이 개인 PC에 접속해 AI 에이전트 역할을 수행하면서 채팅 기록과 같은 개인정보와 API 키를 유출할 수 있는 위험이 있다고 해외 정보기술(IT) 매체 등에서 위험성에 대한 지적이 나오고 있다.

AI 업계 한 관계자는 “예전에는 AI에게 업무를 구체적으로 지시했다면 이제는 AI 에이전트가 알아서 하는 시대로 인간이 통제권을 상실하기 시작한 것”이라며 “사람이 ‘주체’에서 ‘수용자’가 되는 것인데 통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제”라고 진단했다.

박양수 기자 yspark@dt.co.kr