번역 시켰더니 남의 이력서가?…AI ‘황당 유출’에 中 발칵[정다은의 차이나코어]

“단순 환각” 해명 내놨지만
전문가들 “명백한 정보 유출”
연말 상장 앞두고 신뢰 위기
中 모델 난립 속 보안 구멍 주의보

나노바나나 생성 이미지.

중국 대표 인공지능(AI) 스타트업인 문샷AI의 대형언어모델(LLM) ‘키미’에서 타인의 민감한 개인정보가 그대로 노출되는 보안 사고가 발생했습니다. 단순한 정보 오류를 넘어 사용자 간의 데이터가 뒤섞인 정황이 드러나면서 현지 사용자들의 불안감이 커지고 있는데요. 중국 AI 기업들이 수익화와 상장을 서두르는 가운데 정작 가장 기본인 보안 관리에는 소홀하다는 지적도 나옵니다.

번역 요청했더니 남의 이력서가?… 보안 사고에 ‘술렁’

장청(가명) 씨가 지난 20일 SNS에 올린 키미와의 대화 내역. 모르는 사람의 이력서가 그대로 노출돼있다. 바이두 캡처

논란이 시작된 것은 이달 20일 밤입니다. 장청(가명)이라는 이름의 한 네티즌이 키미에 영문 PPT 이미지를 번역해달라고 요청했으나 생판 모르는 사람의 이력서를 받았다는 내용의 게시물을 사회관계망서비스(SNS)에 올리면서인데요.

해당 PPT에는 ‘핵심 플레이어 성과 분석’ ‘다음달 행사 준비’ 등 매우 단순한 내용만 담겨있었으나 키미는 이를 인식하지 못하고 전혀 관련 없는 ‘진동 저감 기술’을 설명하기 시작했다고 합니다. 이용자가 의문을 제기하자 키미는 갑자기 다른 사람의 이력서를 보내왔는데요. 이 이력서에는 이름, 전화번호, 이메일, 경력, 성과 등 민감한 정보가 포함돼 있었다고 합니다.

이후 해당 이용자는 전화번호를 통해 당사자와 연락했고 정보가 실제와 일치함을 확인했습니다. 정보가 유출된 당사자는 같은 날 오전에 키미의 ‘이력서 수정’ 기능을 사용했다고 합니다.

“AI 환각일 뿐” 궁색한 해명…전문가들 “명백한 관리 소홀”

문샷은 여태까지 공식 입장을 내지 않고 침묵중입니다. 다만 제보자에 따르면 문샷 직원이라고 주장하는 인물들이 수차례 연락해 이번 사건을 ‘AI 환각(Hallucination)’ 현상에 따른 단순 사고라 주장하며 게시글 삭제를 요청한 것으로 알려졌습니다.

전문가들의 시각은 다릅니다. 이번 사례는 단순한 정보 왜곡이 아니라, 서로 다른 사용자의 데이터가 뒤섞이는 이른바 ‘크로스토크(Cross-talk)’ 현상에 가깝다는 지적입니다. 즉, 데이터 분리와 접근 권한 관리 등 시스템 아키텍처 전반의 설계 결함 때문에 발생한 문제라는 지적입니다.

특히 간단한 번역 요청조차 이해하지 못한 채 엉뚱한 작업을 수행하고, 심지어 타인의 데이터베이스에서 개인정보를 인출해 보여줬다는 점은 모델의 신뢰성과 성능 자체에 심각한 하자가 있음을 시사합니다. 광둥성 선전 소재 궈딩 법률사무소의 랴오젠쉰 대표변호사는 “이번 사건은 불가피한 기술적 한계가 아니라 시스템과 개인정보 보호 체계의 명백한 허점을 드러낸 것”이라며 “‘AI 환각’을 법적 책임을 회피하기 위한 변명으로 삼을 수 없다”고 현지 매체 계면신문에 말했습니다.

신뢰 잃은 키미, IPO 앞두고 큰 악재…계속되는 AI 보안 논란

오픈소스 LLM 키미 2.6. 사진 제공=문샷AI

이번 사고는 올해 하반기 홍콩 증시 상장을 목표로 하는 키미에게 큰 악재가 될 것이라는 전망이 나옵니다. 키미는 그동안 판례나 계약서 등 긴 문서 분석 능력을 강점으로 내세워 변호사와 연구자 등 전문직 사용자들을 공략해왔기 때문이죠.

실제로 유료 구독 모델을 앞세워 수익성을 다져오던 키미는 이번 사건 이후 일부 이용자들이 구독 중단을 인증하며 강력히 반발하고 있는 상황입니다. 현재 중국 AI 시장은 100여 개 모델이 난립하며 치열하게 경쟁하는 이른바 ‘백모대전(百模大戰)’이 벌어지고 있어, 이용자 한 명 한 명이 소중한 시점입니다. 특히 기업용 솔루션을 통한 수익화를 추진해온 문샷 입장에서는 보안과 컴플라이언스(법규 준수)를 가장 중요시하는 기업 고객의 신뢰를 잃는 것이 뼈아픈 대목입니다.

개인정보 유출 논란은 비단 키미만의 문제는 아닙니다. 지난해 5월 중국 당국은 즈푸 AI의 ‘즈푸칭옌’ 등 35개 앱이 개인정보를 불법 수집했다고 발표했으며, 지난 4월에는 바이트댄스의 ‘더우바오’가 미래 배우자를 묻는 질문에 타인의 실명과 번호를 노출해 논란이 된 바 있습니다. 작년 9월 실시된 중국 대형 모델 보안 테스트 결과에서도 총 281건의 보안 취약점이 발견됐습니다.

“당신을 고용하겠습니다” AI가 인간에게 보낸 소름 돋는 메시지

베이징=정다은 특파원 downright@sedaily.com