1. A maioria das regras voltadas à IA veio de uma configuração, e não de uma regra escrita pela empresa
99 sites estão abertos a rastreadores em geral e pedem que um rastreador de IA fique de fora. Em 81 deles, a regra é um bloqueio padrão que a Cloudflare adiciona ao robots.txt de um site quando uma configuração do painel é ativada. O texto é o mesmo em todos. 17 dos 99 tinham regras que não apareciam em nenhum outro site da amostra.
Nos sites que ficam atrás da Cloudflare, 81 de 809 têm esse bloqueio, cerca de 1 em cada 10. Nos que não ficam, há uma regra voltada à IA em 13 de 2.708, cerca de 1 em cada 200.