1. La mayoría de las reglas dirigidas a la IA proceden de un ajuste, no de una regla escrita por la empresa
99 sitios están abiertos a los rastreadores en general y piden a un rastreador de IA que se mantenga al margen. En 81 de ellos, la regla es un bloqueo estándar que Cloudflare añade al robots.txt de un sitio cuando se activa un ajuste en su panel. El texto es idéntico en todos. 17 de los 99 tenían reglas que no aparecían en ningún otro sitio de la muestra.
En los sitios que están detrás de Cloudflare, 81 de 809 llevan ese bloqueo, aproximadamente 1 de cada 10. En los que no lo están, hay una regla dirigida a la IA en 13 de 2708, aproximadamente 1 de cada 200.