Naar de inhoud

Onderzoek van Find AI Now · gemeten op 14 november 2026

Meer dan 9 op de 10 Australische bedrijfswebsites staan open voor AI-trainingscrawlers

Slechts 1 op de 23 vraagt hen weg te blijven. En van de sites die zich specifiek op AI richten, gebruiken er vier op de vijf een regel die uit een instelling van Cloudflare komt, niet een regel die het bedrijf zelf schreef. Dit is eigen onderzoek van Find AI Now naar 5.000 Australische bedrijfswebsites.

De cijfers

Wat 5.000 websites tegen AI-crawlers zeggen

Een website kan crawlers vragen weg te blijven met een klein openbaar bestand dat robots.txt heet. We lazen dat bestand op een willekeurige steekproef van 5.000 Australische .com.au-websites. 3.517 hadden regels die we konden lezen, en elk cijfer hieronder is een aandeel daarvan.

  • 96%

    heeft geen regel die AI-trainingscrawlers vraagt weg te blijven

    3.365 van 3.517 sites. Waarschijnlijke marge: van 95% tot 96,3%.

  • 4,3%

    vraagt minstens één AI-trainingscrawler weg te blijven

    152 van 3.517 sites, ongeveer 1 op de 23. Waarschijnlijke marge: van 3,7% tot 5%.

  • 82%

    van de regels die op AI gericht zijn, komt uit één instelling van Cloudflare

    81 van 99 sites. Waarschijnlijke marge: van 73% tot 88%.

  • 0,2%

    richt zich specifiek op een crawler die pagina's ophaalt voor live AI-antwoorden

    7 van 3.517 sites. Waarschijnlijke marge: van 0,1% tot 0,4%.

Nog één cijfer: 762 sites (21,7%) hebben helemaal geen robots.txt. Dat is geen probleem. Zonder bestand wordt geen enkele crawler gevraagd weg te blijven.

Wat we vonden

Drie bevindingen

1. De meeste regels die op AI gericht zijn, komen uit een instelling, niet uit een regel die het bedrijf schreef

99 sites staan open voor crawlers in het algemeen en vragen een AI-crawler weg te blijven. Bij 81 daarvan is de regel een standaardblokkade die Cloudflare aan de robots.txt van een site toevoegt wanneer een instelling in het dashboard is ingeschakeld. De tekst is overal hetzelfde. 17 van de 99 hadden regels die op geen enkele andere site in de steekproef voorkwamen.

Van de sites achter Cloudflare hebben er 81 van 809 die blokkade, ongeveer 1 op de 10. Bij sites die niet achter Cloudflare zitten, staat een regel die op AI gericht is op 13 van 2.708, ongeveer 1 op de 200.

2. De regels richten zich op training, niet op antwoorden

AI-bedrijven gebruiken twee soorten crawlers. De ene soort verzamelt pagina's die gebruikt kunnen worden om toekomstige modellen te trainen. De andere haalt pagina's op om een vraag te beantwoorden die iemand nu stelt, of om de zoekindex op te bouwen waar die antwoorden op steunen.

Bijna elke regel die we vonden, geldt alleen voor de eerste soort. 80 van de 81 Cloudflare-blokkades vragen alle vier trainingscrawlers weg te blijven en geen van de zes antwoordcrawlers. Slechts 7 van de 3.517 sites stonden in het algemeen open en vroegen een antwoordcrawler weg te blijven.

Op de meeste van deze sites vraagt het bestand dus om niet voor training gebruikt te worden. Het vraagt niet om buiten antwoorden te blijven. Een van de vier trainingsnamen, Google-Extended, dekt volgens Googles eigen beschrijving ook dat Gemini een pagina gebruikt om een antwoord te onderbouwen.

3. De sites die antwoordcrawlers weren, weren elke crawler

60 sites (1,7%) vragen minstens één antwoordcrawler weg te blijven. 53 daarvan vragen elke crawler weg te blijven, en bij 41 daarvan hoort die van Google erbij. 27 van de 53 leveren het bestand dat een websitebouwer gebruikt voor een site die gesloten is voor crawlers.

Als een daarvan een actieve bedrijfswebsite is, vraagt die ook Google weg te blijven, en dat moet als eerste worden opgelost.

Voor ondernemers

Wat u in vijf minuten kunt controleren

  1. Open uw bestand

    Typ uw webadres gevolgd door /robots.txt in een browser, bijvoorbeeld yourbusiness.com.au/robots.txt. Een pagina "niet gevonden" betekent dat u geen regels hebt en dat geen enkele crawler wordt gevraagd weg te blijven.

  2. Zoek naar een regel met Disallow: /

    Een regel Disallow: / zonder iets na de schuine streep geldt voor de hele site. De regels User-agent direct erboven noemen de crawlers waarvoor die regel geldt.

  3. Staat erboven de naam *, dan geldt het voor elke crawler

    Daar hoort Google bij. Op een live site lost u dit als eerste op. Het kan zijn blijven staan uit de tijd dat de site werd gebouwd.

  4. Zijn de namen GPTBot, ClaudeBot, Google-Extended, CCBot

    U vraagt om niet gebruikt te worden voor AI-training. Dat is een redelijke keuze. Goed om te weten: volgens Google dekt Google-Extended ook dat Gemini een pagina gebruikt om een antwoord te onderbouwen.

  5. Zijn het antwoordcrawlers

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User: u vraagt om niet in live AI-antwoorden te verschijnen. Houd dat alleen aan als u dat echt wilt.

  6. Staat in het bestand "BEGIN Cloudflare Managed content"

    De regels komen uit een instelling in Cloudflare. Wie uw Cloudflare-account beheert, kan die zien en wijzigen in het dashboard. Vraag of het een bewuste keuze was.

Als uw websitebouwer het bestand voor u schrijft, zit de instelling in de websitebouwer, niet in het bestand. Kijk bij de SEO- of crawlerinstellingen.

Eerlijk gezegd

Wat dit onderzoek niet laat zien

  • robots.txt is een verzoek. Het laat zien waar een site om vraagt, niet wat een crawler doet. "Open voor" betekent op deze pagina dat het bestand geen regel bevat die die crawler vraagt weg te blijven van de homepage.
  • Een firewall kan een crawler weren, ook als robots.txt hem toelaat. Dat hebben we niet getest, en we hebben geen verzoek verstuurd onder de naam van een AI-bedrijf. 252 van de 5.000 sites (5%) weigerden ons eigen, duidelijk benoemde verzoek om het bestand.
  • Een .com.au-adres hoort niet altijd bij een klein bedrijf. We haalden de 10.000 meest gelinkte .com.au-sites weg om de steekproef naar kleinere sites te laten neigen, maar er zitten nog steeds enkele grote bedrijven en enkele slapende sites in.
  • 1.483 van de 5.000 sites in de steekproef gaven ons geen regels om te lezen: geen antwoord, een fout of een weigering. Elk percentage hier is van de 3.517 die dat wel deden.
  • Eén bestand, dat voor 51 sites in de steekproef vanaf één server wordt geleverd, kan op twee manieren worden gelezen, afhankelijk van de software die het leest. Streng gelezen vraagt 5,8% een trainingscrawler weg te blijven, niet 4,3%, en staat 94,2% open. We gebruiken het laagste aantal blokkades. De kop klopt in beide gevallen.
  • De cijfers beschrijven deze steekproef op één dag. Ze zijn geen telling van alle Australische bedrijven.

Hoe we hebben gemeten

Methode

Steekproef
5.000 domeinen, willekeurig getrokken uit de 1.085.965 .com.au-domeinen in de openbare webgraaf van Common Crawl voor augustus tot oktober 2026, na het weglaten van de 10.000 waarnaar andere sites het vaakst linken. De trekking gebruikt een vaste seed, zodat die herhaald kan worden.
Verzoek
Eén verzoek per site om /robots.txt, onder onze eigen naam met een contactadres. Er is geen pagina gelezen en niemand is benaderd.
Geteld als gevraagd weg te blijven
De homepage van de site is verboden voor die crawler, volgens de matchregels in RFC 9309. Een regel die één map afsluit, telt niet mee.
Trainingscrawlers
GPTBot, ClaudeBot, Google-Extended, CCBot
Antwoordcrawlers
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Marges
95% betrouwbaarheid (Wilson). "Waarschijnlijke marge" betekent op deze pagina die marge.
Genoemde sites
Geen. We publiceren alleen tellingen.
Gemeten
14 november 2026, vanuit een datacenter in de Verenigde Staten.

Van wie dit onderzoek is

Dit is eigen onderzoek van Find AI Now. We kozen de steekproef, schreven de methode, voerden de meting uit op 14 november 2026 en telden de resultaten. Niemand buiten Find AI Now heeft ervoor betaald of eraan meegewerkt. Find AI Now wordt gerund door FIND AI NOW PTY LTD in Melbourne.

U mag deze cijfers citeren met een link naar deze pagina. Vragen over de methode, of een correctie: hello@findainow.com. Onze andere onderzoeken staan op de onderzoekspagina.

robots.txt is een deel van de vraag of AI-assistenten een bedrijf kunnen lezen en noemen. Onze AI Search Visibility Audit (in het Engels) controleert de toegang voor crawlers en daarnaast hoe de assistenten over uw bedrijf antwoorden.

Bronnen

De cijfers hergebruiken

De cijfers zijn gepubliceerd onder de licentie Creative Commons Naamsvermelding 4.0: u mag ze hergebruiken met vermelding van Find AI Now en een link naar deze pagina. De cijfers als data (JSON) · Dit onderzoek als Markdown (in het Engels)