Ir al contenido

Investigación de Find AI Now · medido el 14 de noviembre de 2026

Más de 9 de cada 10 sitios web de empresas australianas están abiertos a los rastreadores de entrenamiento de IA

Solo 1 de cada 23 les pide que se mantengan al margen. Y de los sitios que se dirigen específicamente a la IA, cuatro de cada cinco usan una regla que procede de un ajuste de Cloudflare, no una regla escrita por la empresa. Este es un estudio propio de Find AI Now sobre 5000 sitios web de empresas australianas.

Las cifras

Qué dicen 5000 sitios web a los rastreadores de IA

Un sitio web puede pedir a los rastreadores que se mantengan alejados con un pequeño archivo público llamado robots.txt. Leímos ese archivo en una muestra aleatoria de 5000 sitios australianos .com.au. 3517 tenían reglas que pudimos leer, y cada cifra de abajo es una proporción de esos sitios.

  • 96 %

    no tienen ninguna regla que pida a los rastreadores de entrenamiento de IA que se mantengan al margen

    3365 de 3517 sitios. Intervalo probable: de 95 % a 96,3 %.

  • 4,3 %

    piden a al menos un rastreador de entrenamiento de IA que se mantenga al margen

    152 de 3517 sitios, aproximadamente 1 de cada 23. Intervalo probable: de 3,7 % a 5 %.

  • 82 %

    de las reglas dirigidas a la IA proceden de un único ajuste de Cloudflare

    81 de 99 sitios. Intervalo probable: de 73 % a 88 %.

  • 0,2 %

    se dirigen específicamente a un rastreador que obtiene páginas para respuestas de IA en tiempo real

    7 de 3517 sitios. Intervalo probable: de 0,1 % a 0,4 %.

Un dato más: 762 sitios (21,7 %) no tienen ningún robots.txt. No pasa nada. Sin archivo, no se pide a ningún rastreador que se mantenga al margen.

Lo que encontramos

Tres conclusiones

1. La mayoría de las reglas dirigidas a la IA proceden de un ajuste, no de una regla escrita por la empresa

99 sitios están abiertos a los rastreadores en general y piden a un rastreador de IA que se mantenga al margen. En 81 de ellos, la regla es un bloqueo estándar que Cloudflare añade al robots.txt de un sitio cuando se activa un ajuste en su panel. El texto es idéntico en todos. 17 de los 99 tenían reglas que no aparecían en ningún otro sitio de la muestra.

En los sitios que están detrás de Cloudflare, 81 de 809 llevan ese bloqueo, aproximadamente 1 de cada 10. En los que no lo están, hay una regla dirigida a la IA en 13 de 2708, aproximadamente 1 de cada 200.

2. Las reglas apuntan al entrenamiento, no a las respuestas

Las empresas de IA usan dos tipos de rastreador. Uno recopila páginas que pueden usarse para entrenar modelos futuros. El otro obtiene páginas para responder a una pregunta que alguien está haciendo en ese momento, o para construir el índice de búsqueda del que se nutren esas respuestas.

Casi todas las reglas que encontramos se refieren solo al primer tipo. 80 de los 81 bloqueos de Cloudflare piden a los cuatro rastreadores de entrenamiento que se mantengan al margen, y a ninguno de los seis rastreadores de respuesta. Solo 7 de 3517 sitios estaban abiertos en general y pedían a un rastreador de respuesta que se mantuviera al margen.

Así que en la mayoría de estos sitios el archivo pide no ser usado para entrenamiento. No pide quedar fuera de las respuestas. Uno de los cuatro nombres de entrenamiento, Google-Extended, también cubre el uso de una página por parte de Gemini para fundamentar una respuesta, según la propia descripción de Google.

3. Los sitios que rechazan a los rastreadores de respuesta rechazan a todos los rastreadores

60 sitios (1,7 %) piden a al menos un rastreador de respuesta que se mantenga al margen. 53 de ellos piden a todos los rastreadores que se mantengan al margen, y 41 de ellos incluyen el de Google. 27 de los 53 sirven el archivo que un creador de sitios web usa para un sitio cerrado a los rastreadores.

Si uno de ellos es el sitio web activo de una empresa, también está pidiendo a Google que se mantenga al margen, y eso es lo primero que hay que corregir.

Para propietarios de empresas

Qué revisar en cinco minutos

  1. Abra su archivo

    Escriba su dirección web seguida de /robots.txt en un navegador, por ejemplo yourbusiness.com.au/robots.txt. Una página de «no encontrado» significa que no tiene reglas y que no se pide a ningún rastreador que se mantenga al margen.

  2. Busque una línea que diga Disallow: /

    Una línea Disallow: / sin nada después de la barra cubre todo el sitio. Las líneas User-agent justo encima nombran los rastreadores a los que se aplica.

  3. Si el nombre de encima es *, afecta a todos los rastreadores

    Eso incluye a Google. En un sitio activo, es lo primero que hay que corregir. Puede ser un resto de cuando se estaba construyendo el sitio.

  4. Si los nombres son GPTBot, ClaudeBot, Google-Extended, CCBot

    Está pidiendo que no se use su sitio para entrenar IA. Es una decisión razonable. Algo que conviene saber: Google indica que Google-Extended también cubre el uso de una página por parte de Gemini para fundamentar una respuesta.

  5. Si los nombres son rastreadores de respuesta

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User: está pidiendo no aparecer en respuestas de IA en tiempo real. Manténgalo solo si es lo que quiere.

  6. Si el archivo dice «BEGIN Cloudflare Managed content»

    Las reglas proceden de un ajuste de Cloudflare. Quien gestione su cuenta de Cloudflare puede verlo y cambiarlo en el panel. Pregúntele si fue una decisión.

Si su creador de sitios web escribe el archivo por usted, el ajuste está en el creador, no en el archivo. Búsquelo en su configuración de SEO o de rastreadores.

Con franqueza

Lo que este estudio no muestra

  • robots.txt es una petición. Muestra lo que pide un sitio, no lo que hace un rastreador. En esta página, «abierto a» significa que el archivo no tiene ninguna regla que pida a ese rastreador que se mantenga fuera de la página de inicio.
  • Un cortafuegos puede rechazar a un rastreador aunque robots.txt lo permita. No lo comprobamos, y no enviamos ninguna solicitud con el nombre de una empresa de IA. 252 de los 5000 sitios (5 %) rechazaron nuestra propia solicitud del archivo, claramente identificada.
  • Una dirección .com.au no siempre corresponde a una pequeña empresa. Quitamos los 10.000 sitios .com.au mejor conectados para inclinar la muestra hacia sitios más pequeños, pero aún incluye algunas grandes empresas y algunos sitios inactivos.
  • 1483 de los 5000 sitios de la muestra no nos dieron reglas que leer: sin respuesta, un error o un rechazo. Cada porcentaje de esta página se refiere a los 3517 que sí lo hicieron.
  • Un archivo, servido para 51 sitios de la muestra desde un único servidor, puede leerse de dos maneras según el software que lo lea. Con la lectura más estricta, el 5,8 % pide a un rastreador de entrenamiento que se mantenga al margen, no el 4,3 %, y el 94,2 % está abierto. Usamos el recuento de bloqueos más bajo. El titular se sostiene en ambos casos.
  • Las cifras describen esta muestra en un solo día. No son un recuento de todas las empresas australianas.

Cómo medimos

Método

Muestra
5000 dominios elegidos al azar entre los 1.085.965 dominios .com.au del grafo web público de Common Crawl de agosto a octubre de 2026, tras quitar los 10.000 a los que más enlazan otros sitios. El sorteo usa una semilla fija, así que puede repetirse.
Solicitud
Una solicitud por sitio de /robots.txt, con nuestro propio nombre y una dirección de contacto. No se leyó ninguna página ni se contactó con nadie.
Cuenta como petición de mantenerse al margen
La página de inicio del sitio no está permitida para ese rastreador, según las reglas de coincidencia del RFC 9309. Una regla que cierra una sola carpeta no se cuenta.
Rastreadores de entrenamiento
GPTBot, ClaudeBot, Google-Extended, CCBot
Rastreadores de respuesta
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Intervalos
Confianza del 95 % (Wilson). En esta página, «intervalo probable» significa ese intervalo.
Sitios nombrados
Ninguno. Solo publicamos recuentos.
Medición
14 de noviembre de 2026, desde un centro de datos en Estados Unidos.

De quién es este estudio

Esta es una investigación propia de Find AI Now. Elegimos la muestra, redactamos el método, hicimos la medición el 14 de noviembre de 2026 y contamos los resultados. Nadie ajeno a Find AI Now la pagó ni participó en ella. Find AI Now está gestionada por FIND AI NOW PTY LTD en Melbourne.

Puede citar estas cifras con un enlace a esta página. Preguntas sobre el método, o una corrección: hello@findainow.com. Nuestros otros estudios están en la página de estudios.

robots.txt es una parte de lo que decide si los asistentes de IA pueden leer y nombrar a una empresa. Nuestro AI Search Visibility Audit (en inglés) revisa el acceso de los rastreadores junto con cómo responden los asistentes sobre su empresa.

Fuentes

Reutilizar las cifras

Las cifras se publican bajo la licencia Creative Commons Atribución 4.0: puede reutilizarlas citando a Find AI Now e incluyendo un enlace a esta página. Las cifras como datos (JSON) · Este estudio en Markdown (en inglés)