“인공지능은 많은 것을 알고 있다”…AI 통화 앱 ‘유출 사고’가 남긴 경고

철벽 보안 필요한 정보 집약 서비스…‘휴먼 에러’에도 무너져
챗GPT에서도 흘러나온 개인정보…AI 서비스 보안 문제 다시 도마 위에

(시사저널=조유빈 기자)

인공지능(AI)은 나에 대해 생각보다 많은 내용을 알고 있다. 사람들은 특정 플랫폼에 개인정보나 취향 등을 입력해야 할 때 방어적인 자세를 취한다. 그러나 챗GPT 같은 생성형 AI와의 대화를 통해서는 민감한 내용을 포함해 수많은 정보를 쉽게 전달하고 있다. 스마트폰 음성 비서는 음성 명령이나 검색 기록을 학습한다. 통화를 요약하는 AI 애플리케이션(앱)은 사적인 대화까지 듣고 있다. 메신저 분석, 음성 인식, 위치 기반 예측 모델 등 AI 데이터가 결합되면 이용자의 일정과 관심사, 이동 패턴의 재구성이 가능할 정도로 상당히 정교한 데이터가 만들어질 수 있다. 개인의 일상과 내면을 들여다볼 수 있는 정보인 셈이다.

AI에 쌓인 데이터는 생활을 편리하게 만들지만, 유출될 경우 일상의 민낯을 고스란히 드러낼 수 있다는 위험성을 안고 있다. 최근 AI 통화 앱 '익시오'에서 통화 내용 일부가 외부로 노출되는 사고가 발생하면서 AI 서비스의 보안 관리 문제가 다시 도마에 올랐다. 개인정보, 생활 데이터와 맞닿아 있는 AI 서비스 특성상 해킹뿐 아니라 '휴먼 에러'(인적 과오) 등으로 사고가 발생할 경우, 광범위한 정보가 빠져나갈 수 있다는 우려가 제기된다. AI에 학습·누적된 데이터와 서비스 운영을 포괄하는 가이드라인이 정교하게 마련돼야 한다는 지적이다.

© ChatGPT 생성이미지

'보안 우수' 강조했는데…타인에 통화 내용 노출

12월2일 LG유플러스의 AI 통화 앱 익시오에서 이용자 36명의 통화 정보가 다른 이용자 101명에게 노출되는 사고가 발생했다. 익시오는 통화 내용 녹음·요약, 대화 검색 등을 제공하는 서비스로, 지난해 11월 출시됐다. 실시간으로 보이스피싱을 탐지하고, 위·변조된 목소리를 감지해 알림을 제공하는 '통신 특화 생성형 AI 모델'이다. 노출된 정보는 통화 상대방의 전화번호, 통화 시각, 통화 요약 내용 등이다. LG유플러스 측에 따르면, 내부 직원이 서버 최적화 작업을 하는 도중에 캐시(임시 저장 공간) 설정을 잘못 하면서 유출 사고가 발생한 것으로 전해진다.

LG유플러스는 해킹과는 관련이 없다고 선을 그었지만, 그동안 익시오를 보안성이 우수한 '온디바이스(내장형)' 서비스라고 강조해 왔다는 점에서 파장은 적지 않았다. 클라우드 서버를 거치지 않고 기기 자체에서 AI 연산을 수행하는 온디바이스 서비스지만, 통화 내역이나 요약 내용은 서버에 6개월간 저장된다는 사실이 알려지면서 이용자들 사이에서는 안심할 수 없다는 목소리가 나오기도 했다. 특히 통화 내용이나 상대방의 전화번호는 민감한 정보다. 통화 내용은 이용자의 생활 패턴이나 이동 경로, 인간관계, 직업 유형 등을 보여줄 수 있기 때문이다. 이처럼 정보가 유출되는 사고가 발생하면서 타 AI 통화 앱을 비롯해 AI 서비스 전반의 정보 보호에 대한 우려도 커지는 모습이다.

AI 서비스의 경우 개인정보가 다층적으로 저장되고, 사용자의 대화나 상황, 패턴 등을 수집·처리·분석하는 경우가 많다. 확보된 정보가 많을수록 유출 사고가 발생할 경우 피해 범위는 커질 수 있다. 최근 시스템 보안이 주로 해킹 대비에 집중되는 가운데, 내부 직원의 실수나 운영 미비 등으로 유출 사고가 발생한 경우도 적지 않아 내부 시스템 관리에 대한 우려가 커진다.

대표적인 생성형 AI인 챗GPT에서도 2023년 국내 이용자 687명의 개인정보가 노출되는 사건이 있었다. 이로 인해 이용자 일부의 이름·이메일 주소와 결제 정보 일부가 다른 이용자에게 노출됐다. 당시 오픈AI는 "서비스 속도 개선을 위한 작업 중 오류가 발생했다"고 설명했다. 개인정보보호위원회(개인정보위)는 해당 사건을 안전 조치 의무 위반으로 판단하지는 않았지만, 유출 사실을 적시에 신고하지 않았다는 이유로 과태료를 부과하고 재발 방지를 위한 개선 조치를 권고했다.

해외 보안 업계에 따르면, AI 챗봇 플랫폼에서 클라우드 보안 설정 오류로 인해 수십만 건의 이용자 대화와 사진·영상이 외부에서 접근 가능한 상태로 노출된 바 있다. AI 챗봇 제공업체의 클라우드 데이터베이스 구성 오류로 인해 여권, 신분증 스캔본, 의료 기록 등 고도로 민감한 정보를 포함한 문서들이 노출된 사례도 발생한 것으로 전해진다.

특히 생성형 AI의 경우 학습 과정에서도 많은 개인정보를 수집한다. 이렇게 수집된 개인정보가 필터링 없이 노출될 가능성도 존재한다. 대규모 정보를 처리하는 AI 서비스의 특성상, 정보를 수집하거나 학습하는 과정에서도 가이드라인 설정이 필요하다는 지적이 이어지는 이유다. AI 챗봇 '이루다'는 학습 과정에서 수집한 정보를 대화 도중 노출해 논란에 휩싸인 바 있다. 법원은 지난 7월 이루다가 정보 주체 동의 없이 익명화되지 않은 개인정보를 학습해 실명, 계좌번호, 주소 등을 노출한 것과 관련해 개발사가 피해자들에게 10만~40만원의 위자료를 지급해야 한다는 판결을 내놓았다.

필터링 없는 정보 노출도 문제

개인정보위는 지난 8월 '생성형 AI 개발·활용을 위한 개인정보 처리 안내서'를 공개하고 "AI의 발전은 프라이버시 침해 위험을 동반할 우려가 있어 개인정보 처리에 관한 명확한 기준 마련이 필수적"이라고 강조했다. 국내외 기관들이 생성형 AI 개발과 활용 단계에서 개인정보 보호를 강조하고 있지만, 서비스 영역이 넓어지는 만큼 AI 서비스 전반에서 데이터에 대한 보호 체계를 구축하고, 안전성을 점검·보완할 필요성도 제기된다.

김도엽 변호사는 한국인터넷진흥원의 '개인정보 이슈 심층 분석 보고서'에서 "AI 서비스 단계에서 민감 정보, 고유 식별 정보 등이 출력되는 사례가 있으므로 데이터 필터링 및 취약점 발견 시 신속하게 대응할 수 있는 체계를 구축하는 것이 적절하다"며 "API 사용자, 플러그인 개발자 등도 사전에 개인정보 보호 조치 수준 및 이행 여부를 확인해 당사자 통제권 범위를 확인하고 해당 범위 내에서 책임을 부담하게 하는 리스크 관리가 필요하다"고 짚었다.