Cloudflare punta a far pagare l’Ia e i motori di ricerca per tutelare editori e creator

Cloudflare, azienda di connectivity cloud, ha annunciato oggi nuove classificazioni, strumenti di analisi avanzati e partnership commerciali per favorire la collaborazione tra proprietari di siti web e aziende di intelligenza artificiale per contribuire allo sviluppo di un ecosistema digitale più equo e trasparente. I nuovi strumenti e le nuove integrazioni di Cloudflare aiutano i proprietari dei siti web e le aziende di AI a ottimizzare la visibilità dei contenuti, l’efficienza e la monetizzazione. Attraverso la creazione di queste nuove infrastrutture, Cloudflare contribuisce a gettare le basi per un’economia agentica sostenibile e collaborativa, a beneficio della società, dei proprietari dei siti web e delle aziende di AI.

La natura del traffico Internet è cambiata. Oggi gli agenti automatizzati e i bot generano oltre la metà di tutte le richieste al web. L’intelligenza artificiale sta diventando la nuova interfaccia per accedere alle informazioni e svolgere attività commerciali online, modificando le regole con cui i contenuti vengono proposti. La maggior parte dei proprietari di siti web desidera apparire nei risultati di ricerca ottenuti dai sistemi di AI. Tuttavia, per le aziende che basano il proprio modello di business sulla pubblicità o sugli abbonamenti, il fatto che i sistemi di AI possano utilizzare i loro contenuti per l’addestramento senza alcun compenso rappresenta un serio problema. Cloudflare ritiene che, se un’azienda desidera rendere disponibili i propri contenuti ai sistemi di AI, questo processo debba essere il più semplice ed efficiente possibile. Al contrario, se un’azienda non desidera che ciò accada, deve avere gli strumenti necessari per limitarne l’accesso. Per rispondere a questa esigenza, Cloudflare sta sperimentando nuove classificazioni predefinite, fornendo ai clienti informazioni più approfondite, rendendo più veloce la ricerca basata sull’AI e garantendo che i creatori vengano compensati quando i loro contenuti vengono utilizzati per generare una risposta. Il risultato è un sistema più equo, che ottimizza l’efficienza delle attività di crawling, protegge la proprietà intellettuale e permette sia ai creatori sia alle aziende di AI di prosperare nell’economia agentica.

“Lo scorso anno abbiamo fornito ai proprietari dei siti web trasparenza e controllo su quali bot potessero accedere ai loro contenuti e siamo entusiasti dei benefici che questo ha portato all’intero ecosistema”, ha dichiarato Matthew Prince, cofondatore e ceo di Cloudflare. “Ora che la maggior parte del traffico su Internet non è più generata da esseri umani, dobbiamo fare un passo ulteriore e agire più rapidamente affinché possa emergere un ecosistema sostenibile. I nuovi strumenti e le nuove partnership di Cloudflare offrono ai proprietari dei siti web maggiore visibilità e nuove opportunità commerciali, premiando le aziende di AI i cui bot operano con intenti chiari e trasparenti. Ci auguriamo che le modifiche predefinite che proponiamo incoraggino i crawler a uso misto a separare chiaramente le attività di ricerca da quelle legate agli agenti AI e all’addestramento dei modelli.”

Una scadenza per porre fine al “pass gratuito” dei crawler a uso misto

Dopo migliaia di confronti con aziende di AI e proprietari di siti web, una cosa è emersa con chiarezza: la maggior parte dei proprietari desidera che i propri contenuti siano facilmente reperibili attraverso i sistemi di AI. Tuttavia, per coloro che monetizzano tramite pubblicità e/o abbonamenti, massimizzare la visibilità non dovrebbe significare cedere gratuitamente la propria proprietà intellettuale. Le aziende di AI più trasparenti hanno reso possibile questo equilibrio separando chiaramente e identificando i propri bot in base alla finalità per cui operano. Al contrario, i crawler “a uso misto” penalizzano sia i proprietari dei contenuti sia le aziende di AI trasparenti, perché combinano in un unico bot attività di ricerca, utilizzo da parte degli agenti AI e addestramento dei modelli. Questo costringe i proprietari dei contenuti a scegliere tra essere visibili nell’era dell’Internet agentico oppure rinunciare gratuitamente ai propri contenuti più preziosi senza alcuna remunerazione. Attualmente Google ha accesso a circa più informazioni rispetto alle principali aziende di AI, perché rende impossibile per i clienti continuare a comparire nei risultati di ricerca senza consentire contemporaneamente l’utilizzo dei propri contenuti anche per l’intelligenza artificiale.

Nei prossimi due mesi Cloudflare collaborerà con l’intero ecosistema, raccoglierà feedback ed effettuerà test per definire le nuove impostazioni predefinite e le nuove classificazioni, con una scadenza fissata al 15 settembre 2026.

Per i nuovi clienti e per i nuovi siti dei clienti già esistenti, dal 15 settembre 2026 le impostazioni predefinite consentiranno l’indicizzazione ai fini della ricerca, ma bloccheranno l’utilizzo dei contenuti per l’addestramento dei modelli di AI e per gli agenti AI nel caso delle pagine contenenti pubblicità. I crawler a uso misto che non permettono ai proprietari dei siti di scegliere separatamente tra ricerca, utilizzo da parte degli agenti AI e addestramento saranno bloccati su tutte le pagine contenenti pubblicità. Questa misura garantisce che i contenuti che generano ricavi non possano essere sottoposti a crawling senza l’esplicita autorizzazione dei rispettivi proprietari. In qualsiasi momento queste impostazioni potranno essere modificate dai clienti attraverso il proprio pannello di controllo.

Dal 15 settembre 2026, le stesse modifiche saranno applicate anche a tutti gli attuali clienti del piano gratuito che non avranno modificato le impostazioni nel proprio dashboard entro tale data. L’obiettivo di queste modifiche è creare condizioni di maggiore equità tra le aziende di AI, che stanno ridefinendo in modo equo e trasparente il concetto stesso di visibilità nell’era agentica, e i tradizionali motori di ricerca.

Analisi avanzate per aumentare la visibilità e monetizzare i contenuti

Il mercato della monetizzazione dei contenuti è ormai una realtà: nell’ultimo anno editori e piattaforme di AI hanno sottoscritto oltre 50 importanti accordi di licenza sui contenuti. Per accelerare ulteriormente questa evoluzione, Cloudflare introduce la nuova dashboard Attribution Business Insights, eliminando l’asimmetria informativa che per anni ha costretto i proprietari dei contenuti a negoziare senza dati concreti.

Per la prima volta, non soltanto i team di sicurezza e IT, ma anche le figure aziendali potranno vedere chiaramente come i bot di AI utilizzano i propri contenuti e monitorare quanto traffico umano ogni specifica azienda di AI restituisce effettivamente ai siti web.

Comprendere il modo in cui l’intelligenza artificiale utilizza i contenuti rappresenta però soltanto il primo passo. Poiché la scoperta delle informazioni si sta spostando dai motori di ricerca ai cosiddetti “motori di risposta” basati sull’AI, i clienti devono sviluppare una nuova disciplina: Answer Engine Optimization (AEO). L’AEO consiste nel comprendere non soltanto chi effettua il crawling dei contenuti, ma anche come tali contenuti vengano citati nelle risposte generate dall’intelligenza artificiale, con quale frequenza e con quale livello di evidenza nei diversi modelli. Così come gli strumenti di web analytics sono diventati un’infrastruttura essenziale durante l’era dei motori di ricerca, Cloudflare punta a offrire il sistema di misurazione e ottimizzazione di riferimento per l’era dell’IA. 

Una ricerca più intelligente e una remunerazione equa

Gli accordi negoziati possono funzionare per i grandi editori, ma non sono facilmente scalabili al resto del web. Per questo Cloudflare sta lavorando su due fronti che favoriscono contemporaneamente creatori di contenuti e aziende di AI: rendere la ricerca basata sull’intelligenza artificiale più efficiente e remunerare automaticamente i creatori quando il loro lavoro viene utilizzato. Oggi i modelli di AI e i motori di ricerca effettuano ripetutamente il crawling di milioni di pagine web che non hanno subito modifiche, nel tentativo di trovare dati aggiornati da utilizzare nelle risposte agli utenti. I dati di Cloudflare mostrano che oltre il 50% del traffico generato dai crawler AI viene impiegato per recuperare nuovamente pagine rimaste invariate. Il risultato è uno spreco di banda per gli editori, uno spreco di capacità di calcolo per le aziende di AI e nessun miglioramento concreto nella qualità delle risposte. Poiché Cloudflare è in grado di rilevare quali contenuti sono realmente cambiati, può segnalare quando una pagina merita di essere nuovamente sottoposta a crawling e quando invece ciò non è necessario, riducendo significativamente le scansioni inutili e migliorando al tempo stesso la qualità dei risultati. Cloudflare sta testando questi segnali con alcune delle principali aziende di AI per misurare quanto riescano a migliorare l’aggiornamento delle informazioni e a ridurre il crawling superfluo, con l’obiettivo di renderli ampiamente disponibili entro la fine dell’anno.

Un anno fa, durante il primo Content Independence Day, Cloudflare aveva presentato la prima versione di Pay Per Crawl, consentendo agli editori di far pagare alle aziende di AI l’attività di crawling dei propri contenuti. Oggi Cloudflare evolve questo modello introducendo Pay Per Use, grazie al quale gli editori vengono remunerati quando i loro contenuti generano effettivamente valore e non semplicemente quando vengono recuperati. L’azienda sta collaborando con partner di primo piano, tra cui Ceramic.ai e You.com, per trasformare questo principio in un vero mercato operativo. Con Ceramic.ai, quando un editore aderisce al programma, riceve un compenso ogni volta che i suoi contenuti compaiono nei risultati della ricerca AI di Ceramic e ottiene inoltre informazioni dettagliate sulle query, sulle citazioni e sul posizionamento dei propri contenuti. Altre aziende di AI potranno adottare il modello più adatto alle proprie esigenze. Ad esempio, You.com consentirà a un agente AI di pagare su richiesta per accedere a uno specifico contenuto premium necessario a svolgere il proprio compito, mentre Cloudflare fornirà l’infrastruttura comune alla base di tutti questi modelli. I clienti Cloudflare dovranno aderire una sola volta al programma e riceveranno automaticamente i compensi indipendentemente dal partner che invierà la richiesta.

Un anno di Content Independence: cosa è stato lanciato

L’edizione dello scorso anno del Content Independence Day era incentrata soprattutto sulla difesa, offrendo gli strumenti necessari per consentire ai proprietari dei contenuti di riprendere il controllo dei propri dati. Nel corso degli ultimi dodici mesi Cloudflare ha costruito in modo sistematico l’infrastruttura necessaria per passare dalla semplice protezione a un approccio di abilitazione attiva. Gli annunci di oggi rappresentano il completamento di questo percorso e si fondano su tre pilastri fondamentali per un ecosistema sostenibile: controllo, trasparenza e monetizzazione. Lo scorso anno Cloudflare ha introdotto AI Crawl Control, un sistema basato sulle autorizzazioni che regola il crawling effettuato dai sistemi di intelligenza artificiale. Per rendere queste protezioni accessibili a tutti, Cloudflare ha collaborato con piattaforme come beehiiv, offrendo sia ai creatori indipendenti sia ai grandi gruppi editoriali dashboard dettagliate per monitorare, bloccare o autorizzare facilmente specifici modelli di AI. Per garantire in modo strutturale la sicurezza delle interazioni tra agenti AI e siti web, Cloudflare ha inoltre promosso Web Bot Auth, un framework aperto che consente ai bot di AI e agli agenti autonomi per gli acquisti online di verificare la propria identità e legittimità nei confronti di editori e commercianti. Cloudflare ha inoltre collaborato con Visa, Mastercard e American Express per creare l’infrastruttura di pagamento destinata alla nascente economia del commercio agentico. Basandosi direttamente su Web Bot Auth, Cloudflare ha lavorato con Visa allo sviluppo del Trusted Agent Protocol, oggi integrato in Visa Intelligent Commerce. Parallelamente, ha integrato sistemi di verifica crittografica all’interno di Mastercard Agent Pay e dei programmi di commercio autonomo di American Express, per garantire che gli agenti AI dedicati agli acquisti possano effettuare transazioni in sicurezza presso milioni di esercenti in tutto il mondo senza esporre direttamente le credenziali di pagamento. Nel loro insieme, queste iniziative contribuiscono a creare le fondamenta di un’economia agentica sostenibile, assicurando che la prossima fase evolutiva di Internet sia costruita sui principi della trasparenza, della scoperta dei contenuti e di una remunerazione equa.