헌책방 마구 쓸어담는 AI… 책을 잘라 스캔하고 나머지는 폐지로
AI업체, 헌 책 대량 구매 후 스캔
LLM 학습 위한 원본 텍스트 확보
앤스로픽, ‘프로젝트 파나마’ 가동
지난 5월 아일랜드 서부 골웨이 유명 중고 서점 ‘케니스 북숍’에 특이한 주문이 들어왔다. 한꺼번에 책 5000권을 사겠다는 내용.
대학이나 도서관이 수천 권 책을 주문하는 일 자체가 드문 건 아니다. 하지만 이번 주문은 책 구성부터 이상했다. 아일랜드 서부 코네마라 지역을 다룬 전문서적 옆에 20여 년 전 아일랜드 정부 특별저축장려계좌(SSIA)를 설명한 투자 안내서 같은 책이 섞여 있었다. 특정 분야 장서를 구축하려는 도서관이나 연구 기관이 고른 목록으로 보기 어려웠다.
가격 흥정도 없었다. 기관에서 수천 권씩 책을 살 때는 대개 할인을 요구하지만, 구매자는 온라인에 표시된 가격 그대로 지불했다. 케니스북숍 주인은 “미친(bananas) 주문”이라고 했다.
아일랜드 일간지 아이리시타임스는 비슷한 일이 유럽 곳곳 헌책방에서 벌어지고 있다고 전했다. 독일 베를린 중고서점과 고서점에는 최근 밤사이 수만 유로어치 주문이 한꺼번에 들어오는 경우가 나타나고 있다. 주문 목록에는 역사서나 전문서뿐 아니라 이미 효용이 크게 떨어진 몇 년 전 운전면허 시험 안내서 같은 책도 포함돼 있다고 한다.
서점상들이 특히 의아하게 여기는 건 주문 방식. 특정 저자나 분야를 중심으로 책을 고르는 게 아니라 ISBN(국제표준도서번호)을 기준으로 아직 확보하지 못한 책을 자동으로 찾아 사들이는 프로그램이 작동하는 듯한 모습을 보인다는 것이다. ISBN은 책마다 붙는 일종의 고유 번호다. 배송 방식도 특이했다. 특정 물류 거점으로 보낸 뒤 한꺼번에 미국으로 나르는 주문이 많았다.
도대체 누가 왜 이처럼 마구 헌책을 사들이는 걸까. 아직 정확한 실체는 못 밝혔지만 유럽 서점업계에서는 AI 기업을 의심하고 있다.
챗GPT나 클로드 같은 생성형 AI 기반인 대규모언어모델(LLM)은 엄청난 양의 글을 학습한다. 뉴스 기사와 논문, 웹사이트, 블로그, 온라인 게시물 등이 주요 재료였다. 하지만 이런 글들 수준이 천차만별이다 보니 고민이 생겼다. 그런데 책은 다르다.
앤스로픽 한 공동 창업자는 내부 문건에서 AI가 인터넷의 질 낮은 문장을 따라 쓰는 대신 책을 학습하면 ‘글을 잘 쓰는 법’을 배울 수 있다는 취지 견해를 밝혔다. 메타에서도 대규모 디지털 도서 자료에 접근하는 것이 경쟁력을 유지하는 데 ‘필수적’이라는 내부 이메일이 오간 사실이 미국 법원 문서를 통해 드러난 바 있다.
더구나 AI가 만들어낸 글이 인터넷에 급속히 늘어나면서 AI 기업 입장에서는 사람이 직접 쓴 원본 텍스트 가치가 커지고 있다. 미국 데이터 업체 ISBNdb는 최근 AI 기업을 대상으로 오래된 인쇄물을 확보해 학습 데이터로 활용하는 사업을 홍보하면서, 오래된 책에는 이른바 ‘AI 슬롭(AI slop·AI가 대량 생산한 저품질 콘텐츠)’이 없다는 점을 내세웠다.
오래된 종이책에는 인터넷에서 쉽게 구하기 힘든 지역사와 전문 지식, 생활 문화, 소수 언어 자료까지 담겨 있다. AI 기업 처지에서는 이미 경쟁사들도 모두 긁어간 인터넷 자료와 겹치지 않는 새로운 데이터를 확보할 수 있는 셈이다.
프로젝트 파나마의 실체
미 워싱턴포스트는 지난 1월 미국 AI 기업 앤스로픽이 진행한 비밀 프로젝트의 실체를 법원 문건을 토대로 공개했다. 이른바 ‘프로젝트 파나마(Project Panama)’. 계획서에는 “전 세계의 책을 파괴적인(destructively) 방식으로 스캔하려는 프로젝트”라는 표현까지 등장한다. 회사는 이 사업이 외부에 알려지는 것도 원하지 않았던 것으로 나타났다.
방식은 원초적이었다. 중고책을 대량으로 산 다음 유압식 절단기로 책등을 잘라 낱장으로 만들고 산업용 고속 스캐너에 집어넣어 디지털화한다. 작업을 마친 종이는 재활용 업체가 가져간다.
앤스로픽은 이 프로젝트에 수천만달러를 투입해 수백만 권의 책을 확보했다. 한 외부 업체가 제출한 계획에는 6개월 동안 50만~200만권을 디지털화한다는 내용도 들어 있었다. 책은 한 번에 수만 권씩 구매됐다. 미국의 대형 중고책 업체 베터 월드 북스와 영국의 월드 오브 북스도 공급처로 등장한다.
생성형 AI 개발 초기 AI 기업들은 인터넷에 떠돌던 방대한 디지털 책 자료를 이용했다. 그중에는 저작권자의 허락 없이 책을 올려놓은 이른바 ‘섀도 라이브러리’도 있었다. 앤스로픽 공동 창업자 벤 만이 2021년 불법 도서 공유 사이트 ‘LibGen’에서 소설과 논픽션을 대량 다운로드한 사실도 소송 과정에서 공개됐다.
미 연방법원 윌리엄 알섭 판사는 지난해 앤스로픽이 책을 AI 모델 학습에 사용한 것 자체는 기존 책을 그대로 복제하는 것이 아니라 새로운 기능을 만들어내는 ‘변형적 이용’에 해당한다며 미국 저작권법상 공정 이용이라고 판단했다. 그러나 문제는 책을 어떻게 확보했느냐였다.
법원은 앤스로픽이 수백만 권 해적판 전자책을 내려받아 보관한 행위까지 공정이용이라고 보지는 않았다. 결국 앤스로픽은 작가·출판사 측과 15억달러 규모 합의에 나섰고, 미국 법원은 지난 7월 이 합의를 최종 승인했다. 미국 저작권 집단소송 사상 최대 규모로 알려졌다. 약 50만개 저작물이 대상으로 책 한 종당 지급액은 3000달러 수준이다. 다만 합법적으로 구매한 종이책을 파괴적으로 스캔해 AI 학습에 사용한 행위에 대해서는 공정 이용 판단을 내렸다.
유럽뿐 아니라 호주 헌책방에서도 비슷한 대량 주문이 나타나고 있다. 가디언에 따르면 호주 서점들은 최근 평소 고객이 찾지 않을 것 같은 책까지 포함된 대량 주문을 받기 시작했다. 일부 서점상들은 책들이 AI 학습 데이터로 사용되기 위해 해외로 보내지는 것 아니냐고 우려했다.
스페인 카탈루냐에서도 지역 헌책방에 들어오는 이상 주문을 추적한 서점상과 AI 전문가들이 비슷한 의혹을 제기했다. 오랫동안 팔리지 않았던 카탈루냐어 논픽션과 지역 서적까지 해외에서 주문이 들어왔다는 것이다.
이들은 이런 현상을 ‘조용한 약탈(The Silent Plunder)’이라고 부르고 책들이 디지털화된 뒤 파괴되는 공급망이 존재할 가능성을 제기했다. 그러나 개별적으로 판매된 책들이 실제 어느 AI 기업으로 흘러갔는지까지 확인된 상태는 아니다.
출판업계에선 우려를 내비친다. 같은 제목 책이라 해도 초판과 재판이 다르고 종이와 제본 방식이 다르다. 헌 책에 남겨진 메모와 밑줄, 장서인, 저자 서명과 헌사 역시 한 권의 책이 지나온 역사의 일부다. 이를 다 잘라 페이지만 스캔한 뒤 폐기하는 행위는 역사와 문화가 담긴 실물 기록이란 책의 가치를 훼손한다는 지적이다.
역설적인 부분은 인터넷 시대 사라질 것으로 여겨졌던 종이책이 AI 시대를 맞아 다시 중요한 자원이 되고 있다는 점이다. 20여 년 전 구글은 전 세계 도서관 책을 디지털화하는 ‘구글 북스’ 프로젝트를 시작했다. 이제 AI 기업들은 책 속 문장을 검색하게 하는 걸 넘어 인간의 언어와 사고 방식을 기계에 가르치기 위해 책을 찾고 있다.
Copyright © 조선일보. 무단전재 및 재배포 금지.