AI 요약 뜨자 검색 유입 '제로' … 웹기업들 "AI 정보수집 막겠다"

콘텐츠·트래픽 순환고리 끊겨 … 클릭 시대의 종언
AI가 검색 유도 않고 답 내놔
원문 사이트 방문 급감 초래
30년 인터넷 공생 공식 깨져
대형 웹, AI 접근 봉쇄 위해
로그인·유료구독 전환 맞불

챗GPT

"인공지능(AI) 기업들은 창작자의 동의 없이 콘텐츠를 가져가면서 대가로 아무것도 돌려주지 않는다. 웹사이트의 콘텐츠만 챙기고 방문자(트래픽)는 보내주지 않으면서 수십 년간 웹을 지탱해온 '암묵적 거래'를 완전히 깨뜨렸다."

글로벌 웹 인프라스트럭처 기업 클라우드플레어의 매슈 프린스 최고경영자(CEO)는 생성형 AI 기업들과 빅테크를 겨냥해 이렇게 일갈했다. 인터넷을 떠받쳐온 '트래픽 상호주의'가 파괴됐다는 선언이다.

전 세계 인터넷 트래픽의 약 20%를 처리하는 클라우드플레어는 지난 15일(현지시간) 자사 네트워크를 거치는 모든 웹사이트를 대상으로 AI 크롤러(인터넷 웹페이지의 데이터를 자동으로 수집·저장하는 소프트웨어)의 데이터 수집을 기본값(Default)으로 전면 차단했다. 이번 조치는 단순한 보안 패치 수준을 넘어선다. 1994년 인터넷 태동기부터 검색엔진과 콘텐츠 생산자가 맺어온 30년 묵은 자율 규약인 '로봇 배제 표준'(robots.txt·웹사이트가 검색 봇의 정보 수집을 제한하기 위해 만든 국제 표준 규약)의 실질적 사망 선고이자 '검색 후 웹사이트 방문'으로 작동하던 기존 인터넷 질서의 붕괴를 알리는 상징적인 사건이다.

◆ AI 시대, 웹 트래픽 25% 증발

지금까지 인터넷 생태계는 명확한 '공생 공식'을 따랐다. 언론사·블로그·전자상거래 플랫폼 등 콘텐츠 생산자가 검색엔진 로봇에 문을 개방해 데이터를 긁어 갈 수 있도록 허용하는 대신 검색엔진은 사용자에게 링크를 제공해 웹사이트로 찾아갈 수 있도록(트래픽) 연결했다. 콘텐츠 제공자는 유입된 트래픽을 바탕으로 광고를 붙이거나 상품을 팔아 서버 비용과 제작비를 충당했다.

그러나 생성형 AI가 등장하며 이 같은 순환고리가 끊어졌다. 사용자가 질문을 던지면 구글의 AI 오버뷰나 퍼플렉시티 같은 생성형 검색엔진이 외부 웹문서를 요약해 화면 상단에서 곧바로 완성된 답변을 내놓는다. 사용자가 링크를 타고 원문 사이트로 이동할 유인이 없어졌다. 글로벌 데이터 분석 업체 스파크토로에 따르면 검색 결과 화면에서 외부 링크를 클릭하지 않고 이탈하는 '제로클릭' 비율이 모바일 기준 60%에 달한다. 시장조사 기관 가트너 역시 생성형 AI 검색 확산으로 전통 검색엔진을 통한 웹 유입 트래픽이 25%가량 급감할 것이라는 암울한 전망을 내놨다. 실제 정보성 블로그와 커머스업계에서는 "검색 유입이 줄어들고 있다"며 우려를 나타내고 있다. 지난 30여 년간 인터넷의 모세혈관 역할을 해온 개방형 웹사이트들이 트래픽이 끊기며 고사할 위기에 처한 것이다.

◆ 중소 웹사이트는 빗장 걸 엄두 못내

트래픽 보상이 사라지자 콘텐츠 생산자들은 대응에 나섰다. 웹사이트 문을 걸어 닫고 AI 봇의 접근을 기술적으로 원천 봉쇄하기 시작했다. 보안 업체 오리지널리티AI에 따르면 글로벌 상위 1000대 웹사이트 중 3분의 1가량이 이미 오픈AI의 'GPT봇' 등 주요 AI 크롤러를 차단했다.

인터넷 비즈니스의 기본 문법이던 '검색엔진 최적화(SEO)' 공식도 무너지고 있다. 과거에는 구글 등의 검색 첫 페이지 상단에 오르기 위해 키워드를 심고 링크를 모으는 데 집중했지만, 이제는 AI 답변에 인용되는 콘텐츠를 만드는 '생성형 엔진 최적화(GEO)' 경쟁이 시작됐다. 하지만 이 또한 클릭 유입을 보장하지 못하면서 사이트 운영자들 사이에서는 "막대한 마케팅 비용을 들여 GEO에 매달렸지만, 정작 트래픽은 늘지 않는다"는 무력감이 팽배하다.

결국 데이터를 무단으로 빼앗기지 않기 위해 대형 사이트들이 로그인 장벽을 높이거나 전면 유료 구독(페이월) 모델로 전환하면서 웹 공간이 누구나 접근 가능한 '광장'에서 돈을 내야만 들어갈 수 있는 '담장 친 유료 정원(Walled Garden)'으로 변하고 있다. 반면 검색 노출이 생명줄인 중소·독립 웹사이트들은 빗장을 걸 엄두조차 내지 못한다. AI 검색 요약에서 배제되면 트래픽이 끊길 것을 우려해 AI의 무단 데이터 수집을 알면서도 방치할 수밖에 없는 딜레마에 빠진 것이다.

클라우드플레어의 전면 차단 조치는 '공짜 점심'에 취해 있던 기존 AI업계 관행에 울린 강력한 경종이다. 양질의 데이터를 생산하는 창작자에게 정당한 대가가 돌아가지 않는다면 인터넷에는 새로운 정보 공급이 끊기고, 그 결과 AI가 생성한 저품질 합성 데이터만 남는 '데이터 쓰레기장'으로 전락할 수밖에 없다.

업계에서는 30년 전 검색엔진의 부상과 함께 정립됐던 '상호 호혜'의 룰은 이제 시효를 다했다는 평가가 나온다. 클라우드플레어는 이번 조치에 대해 이렇게 부연했다. "우리는 콘텐츠 창작자들이 주도권을 쥐고, 개방형 웹의 원칙을 존중하지 않는 AI 기업들에 이용당하지 않도록 보호하고자 한다."

제로클릭(Zero Click)

검색자가 특정 웹사이트로 이동하는 링크를 클릭하지 않고 검색 결과 화면에서 원하는 정보를 즉시 확인하는 현상. 이용자 편의는 높아지지만 원작성자 웹사이트의 유입 트래픽과 광고 수익이 줄어드는 문제를 낳고 있다.

[이영욱 기자 ]