오픈AI '크롤러' 논란…"사이트 수 차례 다운" 주장

트리플갱어스 "사이버 공격과 다름 없어…비용 증가·사업 운영에 차질" 호소

(지디넷코리아=김미정 기자)오픈AI가 타사 웹사이트 데이터를 대량 스크래핑해 서버를 다운시켰다는 의혹으로 뭇매를 맞았다.

13일 테크크런치 등 외신에 따르면 미국 3D 데이터 기업 트리플갱어스(Triplegangers)는 자사 웹사이트가 오픈AI 크롤러로 인해 수 차례 다운됐다고 주장했다. 이로 인해 서버 부하와 비용 증가를 겪었으며 기업 운영에 심각한 차질을 빚었다는 설명이다.

올렉산드르 톰축 트리플갱어스 최고경영자(CEO)는 자사 전자상거래 사이트가 디도스(DDos) 공격과 유사한 상황을 겪었다고 공식 홈페이지에서 이같이 밝혔다. 그는 오픈AI 크롤러가 사이트에 있는 5만6천 개 넘는 제품 페이지와 수십만 장 이미지를 스크랩하면서 발생한 것을 오류 원인으로 꼽았다. 

오픈AI가 타사 웹사이트 데이터를 대량 스크래핑해 서버를 다운시켰다는 의혹으로 뭇매를 맞았다. (사진=챗GPT)

톰축 CEO는 "오픈AI 크롤러는 약 600개 IP로 홈페이지 데이터를 허가 없이 수집하려 했다"며 "해당 크롤러가 자사 웹사이트를 공격한 것이나 다름없다"고 주장했다. 

외신에 따르면 오픈AI는 크롤러 차단을 돕는 기능을 제공하고 있기는 하다. 기업은 'robots.txt' 파일로 클로러를 차단할 수 있다. 다만 이 기능을 모르는 기업은 트리플갱어스처럼 크롤러 피해 볼 가능성이 있다. 

이에 톰축 CEO는 "오픈AI는 타사 웹사이트가 'robots.txt'로 크롤러를 차단하지 않으면 피해입을 수 있다는 점을 교묘히 악용하고 있다"며 "사이트 소유자가 이를 차단하기 위해 기술적 지식을 가져야 한다는 것은 문제"라고 지적했다. 

현재 트리플갱어스는 다른 크롤러를 차단하기 위해 클라우드플레어 계정을 설정하고 로그를 실시간 모니터링하고 있다. 다만 이미 스크랩된 데이터가 무엇인지 파악하거나 삭제 요청할 수 있는 방법은 없는 상태다. 

전문가들은 AI 기술 발전으로 데이터 스크래핑을 악용한 사이버 활동이 증가할 것으로 내다봤다. 포브스에 따르면 지난해 AI 크롤러와 스크래퍼로 인한 웹사이트 트래픽 증가율은 86%를 기록했다. 그러면서 스크래핑에 필요한 기술 안전장치과 봅적 보호 장치 필요성을 강조했다. 

현재 오픈AI는 트리플갱어스 발표에 대해 응답하지 않았다. 

톰측 CEO는 "AI 기업들은 타사 웹사이트 데이터를 가져가지 전 허가를 요청해야 한다"고 말했다. 

김미정 기자(notyetkim@zdnet.co.kr)