Aller au contenu

Les études de Find AI Now · mesuré le 14 novembre 2026

Plus de 9 sites d'entreprises australiennes sur 10 sont ouverts aux robots d'entraînement de l'IA

Seul 1 site sur 23 leur demande de rester à l'écart. Et parmi les sites qui visent spécifiquement l'IA, quatre sur cinq utilisent une règle issue d'un réglage de Cloudflare, et non une règle rédigée par l'entreprise. Il s'agit d'une étude menée par Find AI Now elle-même sur 5 000 sites web d'entreprises australiennes.

Les chiffres

Ce que 5 000 sites web disent aux robots d'exploration IA

Un site web peut demander aux robots d'exploration de se tenir à l'écart grâce à un petit fichier public appelé robots.txt. Nous avons lu ce fichier sur un échantillon aléatoire de 5 000 sites australiens en .com.au. 3 517 avaient des règles que nous avons pu lire, et chaque chiffre ci-dessous est une part de ces sites.

  • 96 %

    n'ont aucune règle demandant aux robots d'entraînement de l'IA de rester à l'écart

    3 365 sur 3 517 sites. Fourchette probable : de 95 % à 96,3 %.

  • 4,3 %

    demandent à au moins un robot d'entraînement de l'IA de rester à l'écart

    152 sur 3 517 sites, environ 1 sur 23. Fourchette probable : de 3,7 % à 5 %.

  • 82 %

    des règles visant l'IA proviennent d'un seul réglage de Cloudflare

    81 sur 99 sites. Fourchette probable : de 73 % à 88 %.

  • 0,2 %

    visent spécifiquement un robot qui récupère des pages pour des réponses IA en direct

    7 sur 3 517 sites. Fourchette probable : de 0,1 % à 0,4 %.

Un dernier chiffre : 762 sites (21,7 %) n'ont aucun fichier robots.txt. Ce n'est pas un problème. Sans fichier, aucun robot n'est prié de rester à l'écart.

Ce que nous avons trouvé

Trois constats

1. La plupart des règles visant l'IA viennent d'un réglage, et non d'une règle rédigée par l'entreprise

99 sites sont ouverts aux robots d'exploration en général et demandent à un robot d'exploration IA de rester à l'écart. Sur 81 d'entre eux, la règle est un blocage standard que Cloudflare ajoute au robots.txt d'un site lorsqu'un réglage de son tableau de bord est activé. La formulation est la même partout. 17 des 99 avaient des règles qu'aucun autre site de l'échantillon ne présentait.

Parmi les sites placés derrière Cloudflare, 81 sur 809 portent ce blocage, soit environ 1 sur 10. Parmi les autres, une règle visant l'IA figure sur 13 sur 2 708, soit environ 1 sur 200.

2. Les règles visent l'entraînement, pas les réponses

Les entreprises d'IA utilisent deux sortes de robots d'exploration. La première collecte des pages qui pourront servir à entraîner de futurs modèles. La seconde récupère des pages pour répondre à une question posée à l'instant, ou pour construire l'index de recherche sur lequel s'appuient ces réponses.

Presque toutes les règles que nous avons trouvées ne concernent que la première sorte. 80 des 81 blocages Cloudflare demandent aux quatre robots d'entraînement de rester à l'écart, et à aucun des six robots de réponse. Seuls 7 sites sur 3 517 étaient ouverts en général et demandaient à un robot de réponse de rester à l'écart.

Sur la plupart de ces sites, le fichier demande donc à ne pas servir à l'entraînement. Il ne demande pas à être exclu des réponses. L'un des quatre noms d'entraînement, Google-Extended, couvre aussi l'usage d'une page par Gemini pour étayer une réponse, selon la description de Google lui-même.

3. Les sites qui écartent les robots de réponse écartent tous les robots

60 sites (1,7 %) demandent à au moins un robot de réponse de rester à l'écart. 53 d'entre eux demandent à tous les robots de rester à l'écart, et 41 d'entre eux incluent celui de Google. 27 des 53 servent le fichier qu'un créateur de sites utilise pour un site fermé aux robots d'exploration.

Si l'un d'eux est le site actif d'une entreprise, il demande aussi à Google de rester à l'écart, et c'est la première chose à corriger.

Pour les chefs d'entreprise

Ce que vous pouvez vérifier en cinq minutes

  1. Ouvrez votre fichier

    Saisissez votre adresse web suivie de /robots.txt dans un navigateur, par exemple yourbusiness.com.au/robots.txt. Une page « introuvable » signifie que vous n'avez aucune règle et qu'aucun robot n'est prié de rester à l'écart.

  2. Cherchez une ligne qui indique Disallow: /

    Une ligne Disallow: / sans rien après la barre oblique couvre tout le site. Les lignes User-agent juste au-dessus nomment les robots auxquels elle s'applique.

  3. Si le nom au-dessus est *, tous les robots sont concernés

    Google en fait partie. Sur un site actif, c'est la première chose à corriger. Cela peut être un reste de la période où le site était en construction.

  4. Si les noms sont GPTBot, ClaudeBot, Google-Extended, CCBot

    Vous demandez à ne pas servir à l'entraînement de l'IA. C'est un choix légitime. Bon à savoir : Google indique que Google-Extended couvre aussi l'usage d'une page par Gemini pour étayer une réponse.

  5. Si ce sont des robots de réponse

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User : vous demandez à ne pas apparaître dans les réponses IA en direct. Ne gardez cette règle que si c'est bien votre intention.

  6. Si le fichier contient « BEGIN Cloudflare Managed content »

    Les règles viennent d'un réglage dans Cloudflare. La personne qui gère votre compte Cloudflare peut le voir et le modifier dans le tableau de bord. Demandez-lui s'il s'agissait d'une décision.

Si votre créateur de sites rédige le fichier pour vous, le réglage se trouve dans le créateur de sites, pas dans le fichier. Regardez dans ses paramètres SEO ou d'exploration.

En toute franchise

Ce que cette étude ne montre pas

  • Le fichier robots.txt est une demande. Il montre ce qu'un site demande, pas ce que fait un robot. Sur cette page, « ouvert à » signifie que le fichier ne contient aucune règle demandant à ce robot de rester à l'écart de la page d'accueil.
  • Un pare-feu peut refuser un robot même quand le robots.txt l'autorise. Nous ne l'avons pas testé, et nous n'avons envoyé aucune requête au nom d'une entreprise d'IA. 252 des 5 000 sites (5 %) ont refusé notre propre requête pour le fichier, clairement identifiée.
  • Une adresse en .com.au n'est pas toujours celle d'une petite entreprise. Nous avons retiré les 10 000 sites en .com.au les mieux reliés pour orienter l'échantillon vers des sites plus petits, mais il contient encore quelques grandes entreprises et quelques sites inactifs.
  • 1 483 des 5 000 sites de l'échantillon ne nous ont donné aucune règle à lire : pas de réponse, une erreur ou un refus. Chaque pourcentage ici porte sur les 3 517 qui l'ont fait.
  • Un même fichier, servi pour 51 sites de l'échantillon par un seul serveur, peut se lire de deux façons selon le logiciel qui le lit. Lu de la façon la plus stricte, 5,8 % demandent à un robot d'entraînement de rester à l'écart, et non 4,3 %, et 94,2 % sont ouverts. Nous retenons le plus petit nombre de blocages. Le titre reste vrai dans les deux cas.
  • Les chiffres décrivent cet échantillon un jour donné. Ils ne recensent pas l'ensemble des entreprises australiennes.

Comment nous avons mesuré

Méthode

Échantillon
5 000 domaines tirés au hasard parmi les 1 085 965 domaines en .com.au du graphe web public de Common Crawl pour août à octobre 2026, après retrait des 10 000 vers lesquels les autres sites renvoient le plus de liens. Le tirage utilise une graine fixe et peut donc être reproduit.
Requête
Une requête par site pour /robots.txt, sous notre propre nom avec une adresse de contact. Aucune page n'a été lue et personne n'a été contacté.
Compté comme prié de rester à l'écart
La page d'accueil du site est interdite à ce robot, selon les règles de correspondance de la RFC 9309. Une règle qui ferme un seul dossier n'est pas comptée.
Robots d'entraînement
GPTBot, ClaudeBot, Google-Extended, CCBot
Robots de réponse
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Fourchettes
Confiance de 95 % (Wilson). Sur cette page, « fourchette probable » désigne cette fourchette.
Sites nommés
Aucun. Nous publions uniquement des décomptes.
Mesuré
Le 14 novembre 2026, depuis un centre de données aux États-Unis.

À qui appartient cette étude

Cette étude est une recherche propre à Find AI Now. Nous avons choisi l'échantillon, rédigé la méthode, effectué la mesure le 14 novembre 2026 et compté les résultats. Personne en dehors de Find AI Now ne l'a financée ni n'y a participé. Find AI Now est exploité par FIND AI NOW PTY LTD à Melbourne.

Vous pouvez citer ces chiffres avec un lien vers cette page. Questions sur la méthode, ou correction : hello@findainow.com. Nos autres études se trouvent sur la page des études.

Le fichier robots.txt est l'un des éléments qui déterminent si les assistants IA peuvent lire et citer une entreprise. Notre AI Search Visibility Audit (en anglais) vérifie l'accès des robots d'exploration ainsi que la façon dont les assistants répondent au sujet de votre entreprise.

Sources

Réutiliser les chiffres

Les chiffres sont publiés sous licence Creative Commons Attribution 4.0 : vous pouvez les réutiliser en citant Find AI Now et en ajoutant un lien vers cette page. Les chiffres en données (JSON) · Cette étude en Markdown (en anglais)