클라우드플래어, AI 크롤러에 비용 청구 방식 도입..."보상 없이 데이터 수집 불가"

[박찬 기자]

전 세계 웹사이트의 약 20%를 처리하는 웹 인프라 기업 클라우드플레어가 웹 콘텐츠를 무단으로 수집하는 인공지능(AI) 기업의 웹 크롤러를 차단하고, 콘텐츠를 가져갈 때마다 요금을 부과하는 새로운 유통 모델을 제시했다. 이는 AI 기업의 인터넷 콘텐츠를 허가나 보상 없이 수집하는 관행에 제동을 걸기 위한 가장 강력한 조치로 평가받고 있다.

클라우드플레어는 1일(현지시간) AI 웹 크롤러를 차단하고 콘텐츠 크롤링에 요금을 매기는 실험적 마켓플레이스 '크롤링당 결제(Pay per Crawl)'를 베타 출시했다고 발표했다.

앞으로 이 회사의 시스템을 사용하는 웹사이트는 기본적으로 모든 AI 크롤러를 차단하며, 운영자가 직접할 크롤러를 지정해야 한다.

AI 크롤러가 웹사이트의 콘텐츠를 수집할 때마다 운영자에게 소액의 사용료를 지불하는 구조다. 운영자는 AI 크롤러에 콘텐츠를 무료로 제공하거나 일정 금액을 설정해 크롤 당 과금하거나 완전히 차단하는 옵션을 설정할 수 있다.

이를 통해 퍼블리셔가 자신의 콘텐츠에 대한 통제력과 수익성을 회복할 수 있도록 지원하겠다는 목표다.

클라우드플레어는 "현재 AI 기업들은 퍼블리셔의 콘텐츠를 대규모로 수집하고 있음에도 불구하고, 실제로 해당 웹사이트로의 유입에는 거의 기여하지 않고 있다"라고 지적했다.

실제로 오픈AI는 웹사이트를 약 1700회 크롤링해야 겨우 한번 사이트를 추천하는 수준이며, 앤트로픽은 그 비율이 더욱 심각해 약 7만3000회 크롤링 당 한번 추천에 그친다. 검색 기반의 기존 트래픽 구조를 형성해 온 구글조차도 14회 크롤링 당 1회 추천에 그친 것으로 나타났다.

이는 기존의 검색 기반 트래픽 생태계와는 전혀 다른 구조다. 과거 퍼블리셔는 구글의 검색 크롤링을 허용하면서 검색 유입을 기대했고, 이는 조회수 증가에 따른 광고 수익으로 이어졌다. 그러나 AI 챗봇이 검색을 대체하고 있는 현재, 퍼블리셔는 콘텐츠만 제공하고 실질적인 보상은 받지 못하는 상황이다.

'크롤링 당 결제'는 이런 불균형을 바로잡기 위한 실험이다. 현재는 비공개 베타 형태로 운영된다. 참가자는 클라우드플레어 계정을 통해 크롤 단가를 설정하고, AI 기업은 이에 따라 콘텐츠를 크롤링할 수 있다.

또 퍼블리셔에게 AI 학습용, 검색 응답용 등 AI 크롤링의 목적을 식별할 수 있는 대시보드도 제공한다.

현재 콘데 나스트와 타임, AP, 애틀랜틱, 애드위크, 포춘 등 주요 퍼블리셔들이 기본 차단 정책에 동참한 상태다.

클라우드플레어는 이 시스템이 장기적으로 AI 에이전트 중심의 웹 환경에 대응할 수 있는 핵심 인프라가 될 것으로 기대했다. 미래에는 사용자가 AI 에이전트에게 정보를 요청하면, 에이전트가 예산 범위 내에서 콘텐츠에 접근하고 비용을 지불하는 방식이 보편화될 것이라는 설명이다.

이를 위해 네트워크 수준에서 작동하는 '에이전트형 결제 장벽(agentic paywall)'이라는 새로운 개념을 제시하며, 완전히 자동화된 콘텐츠 접근 및 결제 시스템의 가능성을 열어두고 있다.

이는 웹사이트를 운영하는 퍼블리셔에게 환영받을 모델이지만, AI 기업들이 자발적으로 유료 크롤링에 나설지는 불확실하다. 또 퍼블리셔에게 실질적인 수익원이 될지도 검증이 필요하다.

하지만, 클라우드플레어는 웹 인프라를 장악하고 있는 몇 안 되는 기업으로서 이 구조를 실현할 유일한 위치에 있다는 평이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>