1. Die meisten Regeln, die auf KI zielen, stammen aus einer Einstellung, nicht aus einer Regel, die das Unternehmen geschrieben hat
99 Websites sind für Crawler allgemein offen und bitten einen KI-Crawler fernzubleiben. Bei 81 davon ist die Regel ein Standardblock, den Cloudflare in die robots.txt einer Website einfügt, wenn eine Einstellung im Dashboard eingeschaltet ist. Der Wortlaut ist überall derselbe. 17 der 99 hatten Regeln, die auf keiner anderen Website der Stichprobe vorkamen.
Bei Websites hinter Cloudflare tragen 81 von 809 diesen Block, etwa 1 von 10. Bei Websites ohne Cloudflare steht eine Regel, die auf KI zielt, auf 13 von 2.708, etwa 1 von 200.