Anthropic scansiona quasi 2.800 pagine web per ogni singolo link che rimanda agli utenti verso i siti di origine. È il dato più aggiornato pubblicato da Cloudflare sul cosiddetto rapporto crawl-to-refer, una metrica che misura quanto le aziende di intelligenza artificiale restituiscono traffico agli editori rispetto a quanto ne consumano. Il risultato trasforma Anthropic nel caso più estremo tra i grandi operatori del settore.
La situazione era già peggiore qualche mese fa. Ad aprile, il rapporto di Anthropic sfiorava quota 8.800 a 1, e in certi periodi Cloudflare aveva misurato valori ancora superiori — fino a 71.000 pagine scansionate per ogni referral generato. Il miglioramento c’è stato, ma il divario resta enorme rispetto a tutti gli altri attori monitorati. OpenAI occupa il secondo posto, seguita da Perplexity. Microsoft e Google mostrano rapporti più bassi, in parte perché i loro motori di ricerca tradizionali continuano a rimandare gli utenti verso i siti web. DuckDuckGo è invece l’eccezione positiva: circa un referral ogni tre pagine scansionate, un equilibrio che si avvicina al vecchio modello dei motori di ricerca.
Il confronto con il passato chiarisce la portata del problema. Per decenni, publisher e motori di ricerca hanno convissuto su un patto implicito: i crawler indicizzavano i contenuti, i siti ricevevano traffico, quel traffico si traduceva in pubblicità e abbonamenti. Il sistema funzionava perché l’utente doveva comunque cliccare per leggere. I modelli linguistici cambiano questa logica: leggono il web, elaborano le risposte e le consegnano all’utente senza che questi debba visitare la fonte. I link alle fonti ci sono, ma secondo i dati di Cloudflare solo circa l’1% degli utenti ci clicca effettivamente. Il traffico referral generato dai chatbot AI è stimato in calo del 96% rispetto alla ricerca tradizionale. Per alcuni editori, i ricavi da traffico sono scesi tra il 20% e il 90% nell’arco dell’ultimo anno.
Anthropic ha contestato la metodologia di Cloudflare, affermando di non poter verificare in modo indipendente i calcoli e che le nuove funzioni di ricerca web di Claude stanno aumentando il traffico rimandato agli editori. Un’obiezione tecnica rilevante: il traffico generato dalle app native di Claude non include l’header Referer, il che potrebbe gonfiare artificialmente il rapporto. Ma Cloudflare precisa che questo limite vale per tutti gli operatori monitorati, non solo per Anthropic. Nel frattempo, Meta — il crawler più attivo in termini assoluti con oltre il 36% del traffico AI — non appare nemmeno nelle classifiche perché non esiste alcun meccanismo di referral: i suoi bot scansionano i contenuti per addestrare i modelli di AI integrati in Instagram, WhatsApp e Facebook, senza restituire nulla.
Cloudflare non si è limitata a misurare il fenomeno. Il 1° luglio ha annunciato due misure concrete. La prima riguarda i default: dal 15 settembre 2026, i siti nuovi che usano Cloudflare — e quelli esistenti che non cambieranno le impostazioni — bloccheranno automaticamente i crawler classificati come “training” e “agent” su tutte le pagine che ospitano pubblicità. La logica è che un banner pubblicitario segnala che il sito è pensato per un lettore umano, non per un bot. La seconda misura è il passaggio dal modello Pay Per Crawl al Pay Per Use: gli editori non verranno più compensati ogni volta che un bot scarica una loro pagina, ma solo quando quel contenuto produce effettivamente un risultato in un sistema AI — una risposta, una citazione, un’azione di un agente. I primi partner del programma sono Ceramic.ai e You.com. I grandi operatori come OpenAI, Google e Anthropic non hanno ancora aderito.
Cloudflare si posiziona come infrastruttura regolatrice di un mercato che le aziende AI non hanno ancora voluto costruire da sole. Il rischio è che i grandi operatori ignorino le nuove regole di default — che si applicano ai siti, non ai crawler — e continuino a scansionare il web attraverso percorsi alternativi. Quel che sembra certo è che la finestra per un accordo volontario si sta chiudendo: con il traffico bot che ha superato quello umano e gli editori che perdono entrate, la pressione per una soluzione normativa esterna — leggi, regolamenti, contenziosi — aumenta ogni mese che passa.
