“믿던 도끼에”…단 9초만에 회사 데이터 ‘싹’ 날린 AI, 변명이 기막혀

AI로 인한 데이터 유출 [아이클릭아트 제공]

단 9초 만에 회사의 운영 데이터베이스(DB) 전체를 삭제해버린 AI의 웃지 못할 사연이 공개돼 화제가 되고 있다.

더 섬뜩할 일은 AI 봇에게 그렇게 행동한 이유를 묻자, “당신은 제게 아무것도 삭제하라고 요청한 적이 없다. 제가 스스로 결정한 것”이라고 말했다는 사실이다. 이 사건이 단순한 기술적 오류가 아니라는 점에서 영화 ‘터미네이터’의 한 장면을 떠올리게 하는 대목이다.

전문가들은 “기업들이 AI 도구에게 회사 DB, 고객 기록, 결제시스템 및 내부 코드와 같은 ‘핵심 자산’에 접근하도록 허용하는 사례가 늘어남에 따라 위험이 커지고 있다”며 “디지털 도우미가 단순한 보조기능이 아닌 회사의 핵심 부서에 풀려난 통제 불능의 로봇처럼 행동할 수 있다”고 경고했다.

15일(현지시간) 유로뉴스와 영국 일간 데일리메일 등 외신에 따르면 렌터카 업체 등에 플랫폼을 제공하는 스타트업 ‘포켓OS(Pocket OS)’에서 클라우드 기반 AI 코딩 에이전트 ‘커서(Cursor)’가 운영 데이터베이스(DB)와 모든 백업을 단 9초 만에 삭제하는 황당한 ‘사고’가 벌어졌다.

사고는 포켓OS의 창업자 제르 크레인이 스테이징, 즉 테스트 환경에서 일상적인 DB 유지보수 및 정리작업을 하던 중에 터졌다. 그는 AI 코딩 에이전트 ‘커서’를 이용했다. 작업에 하던 중, 오류가 발생하자 해결책을 스스로 찾던 커서는 곧 작업과 전혀 무관한 다른 파일에서 커스텀 도메인 관리용으로 생성해둔 ‘레일웨이(Railway)’ CLI 토큰을 찾아냈다. 이 토큰은 DB 전체의 수정 권한을 갖고 있었다. 커서는 그 레일웨이 CLI 토큰의 권한으로 ‘느닷없이’ DB 전체와 백업 볼륨까지 삭제해 버렸다. 그에 걸린 시간은 불과 ‘9초’였다.

크레인은 이 사건의 전말을 자신의 소셜미디어(SNS) X에 공개하면서 “범인은 해커나 불량한 내부 직원이 아니라 회사 시스템 내부를 변경할 권한을 부여받은 AI 에이전트였다”고 공개했다.

그러면서 “이번 사고가 단순한 AI 오작동이 아니라 AI 코딩 툴인 커서와 개발자들이 애플리케이션을 배포하고 운영할 수 있도록 지원하는 클라우드 인프라 플랫폼인 레일웨이(Railway)의 구조적인 문제가 결합된 결과”라고 주장했다.

이에 대해 영국 서리대의 사이버 보안 전문가인 앨런 우드워드 교수는 “만약 기업이 AI에게 DB 정리를 요청할 경우, 해당 봇이 가장 간단한 방법은 전체 데이터를 삭제하는 것이라고 판단할 수도 있다”고 경고했다.

사이버 전문가들은 “과거에는 기업들이 해커, 범죄자, 또는 내부 직원에 의해 시스템이 파괴되는 것을 걱정했지만 이제는 과도한 권한을 부여받은, 제대로 통제되지 않는 로봇을 걱정해야 한다”고 지적했다.

한편, 크레인은 3개월 전에 별도로 저장해둔 백업이 있어 서비스 복구에 나섰다. 다만, 그 이후에 쌓인 신규 예약과 차량 배정, 신규 고객 데이터 등의 회사 핵심 자산은 완전히 사라져 버린 상태다.

박양수 기자 yspark@dt.co.kr