Pular para o conteúdo

Pesquisas da Find AI Now · medido em 14 de novembro de 2026

Mais de 9 em cada 10 sites de empresas australianas estão abertos aos rastreadores de treinamento de IA

Só 1 em cada 23 pede que eles fiquem de fora. E, entre os sites que se dirigem especificamente à IA, quatro em cada cinco usam uma regra que veio de uma configuração da Cloudflare, e não uma regra escrita pela empresa. Este é um estudo próprio da Find AI Now sobre 5.000 sites de empresas australianas.

Os números

O que 5.000 sites dizem aos rastreadores de IA

Um site pode pedir que rastreadores fiquem longe com um pequeno arquivo público chamado robots.txt. Lemos esse arquivo em uma amostra aleatória de 5.000 sites australianos .com.au. 3.517 tinham regras que conseguimos ler, e cada número abaixo é uma parcela desses sites.

  • 96%

    não têm nenhuma regra pedindo que rastreadores de treinamento de IA fiquem de fora

    3.365 de 3.517 sites. Intervalo provável: de 95% a 96,3%.

  • 4,3%

    pedem que pelo menos um rastreador de treinamento de IA fique de fora

    152 de 3.517 sites, cerca de 1 em cada 23. Intervalo provável: de 3,7% a 5%.

  • 82%

    das regras voltadas à IA vêm de uma única configuração da Cloudflare

    81 de 99 sites. Intervalo provável: de 73% a 88%.

  • 0,2%

    se dirigem especificamente a um rastreador que busca páginas para respostas de IA em tempo real

    7 de 3.517 sites. Intervalo provável: de 0,1% a 0,4%.

Mais um número: 762 sites (21,7%) não têm nenhum robots.txt. Não há problema nisso. Sem arquivo, nenhum rastreador recebe pedido para ficar de fora.

O que encontramos

Três constatações

1. A maioria das regras voltadas à IA veio de uma configuração, e não de uma regra escrita pela empresa

99 sites estão abertos a rastreadores em geral e pedem que um rastreador de IA fique de fora. Em 81 deles, a regra é um bloqueio padrão que a Cloudflare adiciona ao robots.txt de um site quando uma configuração do painel é ativada. O texto é o mesmo em todos. 17 dos 99 tinham regras que não apareciam em nenhum outro site da amostra.

Nos sites que ficam atrás da Cloudflare, 81 de 809 têm esse bloqueio, cerca de 1 em cada 10. Nos que não ficam, há uma regra voltada à IA em 13 de 2.708, cerca de 1 em cada 200.

2. As regras miram o treinamento, não as respostas

As empresas de IA usam dois tipos de rastreador. Um coleta páginas que podem ser usadas para treinar modelos futuros. O outro busca páginas para responder a uma pergunta que alguém está fazendo agora, ou para montar o índice de busca em que essas respostas se apoiam.

Quase todas as regras que encontramos valem só para o primeiro tipo. 80 dos 81 bloqueios da Cloudflare pedem que os quatro rastreadores de treinamento fiquem de fora, e nenhum dos seis rastreadores de resposta. Só 7 de 3.517 sites estavam abertos em geral e pediam que um rastreador de resposta ficasse de fora.

Então, na maioria desses sites, o arquivo pede para não ser usado em treinamento. Ele não pede para ficar fora das respostas. Um dos quatro nomes de treinamento, Google-Extended, também cobre o uso de uma página pelo Gemini para fundamentar uma resposta, segundo a descrição do próprio Google.

3. Os sites que recusam rastreadores de resposta recusam todos os rastreadores

60 sites (1,7%) pedem que pelo menos um rastreador de resposta fique de fora. 53 deles pedem que todos os rastreadores fiquem de fora, e 41 deles incluem o do Google. 27 dos 53 servem o arquivo que um criador de sites usa para um site fechado a rastreadores.

Se um deles for o site ativo de uma empresa, ele também está pedindo que o Google fique de fora, e isso é a primeira coisa a corrigir.

Para donos de empresas

O que verificar em cinco minutos

  1. Abra o seu arquivo

    Digite o endereço do seu site seguido de /robots.txt em um navegador, por exemplo yourbusiness.com.au/robots.txt. Uma página de “não encontrado” significa que você não tem regras e que nenhum rastreador recebe pedido para ficar de fora.

  2. Procure uma linha que diga Disallow: /

    Uma linha Disallow: / sem nada depois da barra vale para o site inteiro. As linhas User-agent logo acima dela indicam os rastreadores a que ela se aplica.

  3. Se o nome acima for *, todos os rastreadores estão incluídos

    Isso inclui o Google. Em um site ativo, é a primeira coisa a corrigir. Pode ter sobrado da época em que o site estava sendo construído.

  4. Se os nomes forem GPTBot, ClaudeBot, Google-Extended, CCBot

    Você está pedindo para não ser usado no treinamento de IA. É uma escolha legítima. Algo a saber: o Google diz que o Google-Extended também cobre o uso de uma página pelo Gemini para fundamentar uma resposta.

  5. Se os nomes forem de rastreadores de resposta

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User: você está pedindo para não aparecer em respostas de IA em tempo real. Mantenha isso só se for o que você quer.

  6. Se o arquivo disser “BEGIN Cloudflare Managed content”

    As regras vieram de uma configuração da Cloudflare. Quem gerencia a sua conta da Cloudflare pode vê-la e alterá-la no painel. Pergunte se foi uma decisão.

Se o seu criador de sites escreve o arquivo por você, a configuração fica no criador de sites, não no arquivo. Procure nas configurações de SEO ou de rastreadores dele.

Com franqueza

O que este estudo não mostra

  • O robots.txt é um pedido. Ele mostra o que um site pede, não o que um rastreador faz. Nesta página, “aberto a” significa que o arquivo não tem nenhuma regra pedindo que aquele rastreador fique fora da página inicial.
  • Um firewall pode recusar um rastreador mesmo quando o robots.txt o permite. Não testamos isso, e não enviamos nenhuma solicitação em nome de qualquer empresa de IA. 252 dos 5.000 sites (5%) recusaram a nossa própria solicitação do arquivo, claramente identificada.
  • Um endereço .com.au nem sempre é de uma pequena empresa. Removemos os 10.000 sites .com.au mais bem conectados para inclinar a amostra para sites menores, mas ela ainda inclui algumas grandes empresas e alguns sites inativos.
  • 1.483 dos 5.000 sites da amostra não nos deram regras para ler: nenhuma resposta, um erro ou uma recusa. Cada porcentagem aqui se refere aos 3.517 que deram.
  • Um arquivo, servido para 51 sites da amostra a partir de um único servidor, pode ser lido de duas formas, dependendo do software que o lê. Na leitura mais rigorosa, 5,8% pedem que um rastreador de treinamento fique de fora, e não 4,3%, e 94,2% estão abertos. Usamos a contagem menor de bloqueios. A manchete se mantém nos dois casos.
  • Os números descrevem esta amostra em um único dia. Não são uma contagem de todas as empresas australianas.

Como medimos

Método

Amostra
5.000 domínios sorteados entre os 1.085.965 domínios .com.au do grafo público da web do Common Crawl de agosto a outubro de 2026, depois de removidos os 10.000 que recebem mais links de outros sites. O sorteio usa uma semente fixa, então pode ser repetido.
Solicitação
Uma solicitação por site para /robots.txt, com o nosso próprio nome e um endereço de contato. Nenhuma página foi lida e ninguém foi contatado.
Contado como pedido para ficar de fora
A página inicial do site é proibida para aquele rastreador, segundo as regras de correspondência da RFC 9309. Uma regra que fecha uma única pasta não é contada.
Rastreadores de treinamento
GPTBot, ClaudeBot, Google-Extended, CCBot
Rastreadores de resposta
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Intervalos
Confiança de 95% (Wilson). Nesta página, “intervalo provável” significa esse intervalo.
Sites citados
Nenhum. Publicamos apenas contagens.
Medição
14 de novembro de 2026, a partir de um data center nos Estados Unidos.

De quem é este estudo

Esta é uma pesquisa própria da Find AI Now. Escolhemos a amostra, escrevemos o método, fizemos a medição em 14 de novembro de 2026 e contamos os resultados. Ninguém de fora da Find AI Now pagou por ela ou participou dela. A Find AI Now é operada pela FIND AI NOW PTY LTD, em Melbourne.

Você pode citar estes números com um link para esta página. Dúvidas sobre o método, ou uma correção: hello@findainow.com. Os nossos outros estudos estão na página de pesquisas.

O robots.txt é uma parte do que define se os assistentes de IA conseguem ler e citar uma empresa. O nosso AI Search Visibility Audit (em inglês) verifica o acesso dos rastreadores junto com a forma como os assistentes respondem sobre a sua empresa.

Fontes

Reutilizar os números

Os números são publicados sob a licença Creative Commons Atribuição 4.0: você pode reutilizá-los dando crédito à Find AI Now e incluindo um link para esta página. Os números como dados (JSON) · Este estudo em Markdown (em inglês)