Vai al contenuto

Le ricerche di Find AI Now · misurato il 14 novembre 2026

Più di 9 siti web di aziende australiane su 10 sono aperti ai crawler per l'addestramento dell'IA

Solo 1 su 23 chiede loro di restare fuori. E tra i siti che si rivolgono in modo specifico all'IA, quattro su cinque usano una regola che deriva da un'impostazione di Cloudflare, non una regola scritta dall'azienda. Questo è uno studio condotto in proprio da Find AI Now su 5000 siti web di aziende australiane.

I numeri

Che cosa dicono 5000 siti web ai crawler di IA

Un sito web può chiedere ai crawler di stare alla larga con un piccolo file pubblico chiamato robots.txt. Abbiamo letto quel file su un campione casuale di 5000 siti australiani .com.au. 3517 avevano regole che abbiamo potuto leggere, e ogni dato qui sotto è una quota di questi.

  • 96%

    non hanno alcuna regola che chieda ai crawler per l'addestramento dell'IA di restare fuori

    3365 su 3517 siti. Intervallo probabile: da 95% a 96,3%.

  • 4,3%

    chiedono ad almeno un crawler per l'addestramento dell'IA di restare fuori

    152 su 3517 siti, circa 1 su 23. Intervallo probabile: da 3,7% a 5%.

  • 82%

    delle regole rivolte all'IA derivano da un'unica impostazione di Cloudflare

    81 su 99 siti. Intervallo probabile: da 73% a 88%.

  • 0,2%

    si rivolgono in modo specifico a un crawler che recupera pagine per le risposte dell'IA in tempo reale

    7 su 3517 siti. Intervallo probabile: da 0,1% a 0,4%.

Un ultimo dato: 762 siti (21,7%) non hanno alcun robots.txt. Va bene così. Senza file, a nessun crawler viene chiesto di restare fuori.

Che cosa abbiamo trovato

Tre risultati

1. La maggior parte delle regole rivolte all'IA deriva da un'impostazione, non da una regola scritta dall'azienda

99 siti sono aperti ai crawler in generale e chiedono a un crawler di IA di restare fuori. Su 81 di questi, la regola è un blocco standard che Cloudflare aggiunge al robots.txt di un sito quando viene attivata un'impostazione nella sua dashboard. Il testo è identico su tutti. 17 siti su 99 avevano regole che non comparivano su nessun altro sito del campione.

Tra i siti che si trovano dietro Cloudflare, 81 su 809 riportano quel blocco, circa 1 su 10. Tra quelli che non lo sono, una regola rivolta all'IA compare su 13 su 2708, circa 1 su 200.

2. Le regole riguardano l'addestramento, non le risposte

Le aziende di IA usano due tipi di crawler. Il primo raccoglie pagine che possono essere usate per addestrare modelli futuri. Il secondo recupera pagine per rispondere a una domanda che qualcuno sta facendo in quel momento, o per costruire l'indice di ricerca su cui si basano quelle risposte.

Quasi tutte le regole che abbiamo trovato riguardano solo il primo tipo. 80 blocchi Cloudflare su 81 chiedono a tutti e quattro i crawler per l'addestramento di restare fuori, e a nessuno dei sei crawler per le risposte. Solo 7 siti su 3517 erano aperti in generale e chiedevano a un crawler per le risposte di restare fuori.

Sulla maggior parte di questi siti, quindi, il file chiede di non essere usato per l'addestramento. Non chiede di essere escluso dalle risposte. Uno dei quattro nomi per l'addestramento, Google-Extended, copre anche l'uso di una pagina da parte di Gemini per fondare una risposta, secondo la descrizione di Google stessa.

3. I siti che respingono i crawler per le risposte respingono tutti i crawler

60 siti (1,7%) chiedono ad almeno un crawler per le risposte di restare fuori. 53 di questi chiedono a tutti i crawler di restare fuori, e 41 di questi includono quello di Google. 27 siti su 53 servono il file che una piattaforma per la creazione di siti usa per un sito chiuso ai crawler.

Se uno di questi è il sito attivo di un'azienda, sta chiedendo anche a Google di restare fuori, ed è la prima cosa da correggere.

Per i titolari d'impresa

Che cosa controllare in cinque minuti

  1. Apra il Suo file

    Digiti il Suo indirizzo web seguito da /robots.txt in un browser, ad esempio yourbusiness.com.au/robots.txt. Una pagina «non trovato» significa che non ha regole e che a nessun crawler viene chiesto di restare fuori.

  2. Cerchi una riga che dica Disallow: /

    Una riga Disallow: / senza nulla dopo la barra copre l'intero sito. Le righe User-agent subito sopra indicano i crawler a cui si applica.

  3. Se il nome sopra è *, sono interessati tutti i crawler

    Questo include Google. Su un sito attivo è la prima cosa da correggere. Può essere un residuo del periodo in cui il sito era in costruzione.

  4. Se i nomi sono GPTBot, ClaudeBot, Google-Extended, CCBot

    Sta chiedendo di non essere usato per l'addestramento dell'IA. È una scelta legittima. Una cosa da sapere: Google afferma che Google-Extended copre anche l'uso di una pagina da parte di Gemini per fondare una risposta.

  5. Se i nomi sono crawler per le risposte

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User: sta chiedendo di non comparire nelle risposte dell'IA in tempo reale. Mantenga questa scelta solo se è ciò che vuole.

  6. Se il file contiene «BEGIN Cloudflare Managed content»

    Le regole derivano da un'impostazione di Cloudflare. Chi gestisce il Suo account Cloudflare può vederla e modificarla nella dashboard. Chieda se è stata una decisione.

Se la piattaforma con cui ha creato il sito scrive il file per Lei, l'impostazione si trova nella piattaforma, non nel file. Cerchi nelle impostazioni SEO o dei crawler della piattaforma.

In tutta franchezza

Che cosa questo studio non mostra

  • robots.txt è una richiesta. Mostra ciò che un sito chiede, non ciò che fa un crawler. In questa pagina, «aperto a» significa che il file non ha alcuna regola che chieda a quel crawler di restare fuori dalla home page.
  • Un firewall può respingere un crawler anche quando robots.txt lo consente. Non lo abbiamo verificato, e non abbiamo inviato alcuna richiesta a nome di un'azienda di IA. 252 siti su 5000 (5%) hanno rifiutato la nostra richiesta del file, fatta a nostro nome e chiaramente identificabile.
  • Un indirizzo .com.au non appartiene sempre a una piccola impresa. Abbiamo escluso i 10.000 siti .com.au più collegati per orientare il campione verso siti più piccoli, ma contiene ancora alcune grandi aziende e alcuni siti inattivi.
  • 1483 siti su 5000 del campione non ci hanno dato regole da leggere: nessuna risposta, un errore o un rifiuto. Ogni percentuale qui si riferisce ai 3517 che lo hanno fatto.
  • Un file, servito per 51 siti del campione da un unico server, può essere letto in due modi a seconda del software che lo legge. Con la lettura più rigorosa, il 5,8% chiede a un crawler per l'addestramento di restare fuori, non il 4,3%, e il 94,2% è aperto. Usiamo il conteggio più basso dei blocchi. Il titolo regge in entrambi i casi.
  • I dati descrivono questo campione in un solo giorno. Non sono un conteggio di tutte le aziende australiane.

Come abbiamo misurato

Metodo

Campione
5000 domini estratti a caso dai 1.085.965 domini .com.au del grafo web pubblico di Common Crawl da agosto a ottobre 2026, dopo aver escluso i 10.000 verso cui gli altri siti puntano più link. L'estrazione usa un seme fisso, quindi può essere ripetuta.
Richiesta
Una richiesta per sito per /robots.txt, a nostro nome e con un indirizzo di contatto. Nessuna pagina è stata letta e nessuno è stato contattato.
Contato come invito a restare fuori
La home page del sito è vietata a quel crawler, secondo le regole di corrispondenza dell'RFC 9309. Una regola che chiude una sola cartella non viene contata.
Crawler per l'addestramento
GPTBot, ClaudeBot, Google-Extended, CCBot
Crawler per le risposte
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Intervalli
Confidenza del 95% (Wilson). In questa pagina, «intervallo probabile» indica quell'intervallo.
Siti nominati
Nessuno. Pubblichiamo solo conteggi.
Misurato
14 novembre 2026, da un data center negli Stati Uniti.

Di chi è questo studio

Questa è una ricerca condotta in proprio da Find AI Now. Abbiamo scelto il campione, scritto il metodo, eseguito la misurazione il 14 novembre 2026 e contato i risultati. Nessuno al di fuori di Find AI Now l'ha pagata o vi ha preso parte. Find AI Now è gestita da FIND AI NOW PTY LTD a Melbourne.

Può citare questi dati con un link a questa pagina. Domande sul metodo, o una correzione: hello@findainow.com. I nostri altri studi sono nella pagina degli studi.

robots.txt è uno degli elementi che determinano se gli assistenti IA possono leggere e nominare un'azienda. Il nostro AI Search Visibility Audit (in inglese) verifica l'accesso dei crawler insieme a come gli assistenti rispondono sulla Sua azienda.

Fonti

Riutilizzare i dati

I dati sono pubblicati con la licenza Creative Commons Attribuzione 4.0: può riutilizzarli citando Find AI Now e inserendo un link a questa pagina. I dati come file (JSON) · Questo studio in Markdown (in inglese)