1. La maggior parte delle regole rivolte all'IA deriva da un'impostazione, non da una regola scritta dall'azienda
99 siti sono aperti ai crawler in generale e chiedono a un crawler di IA di restare fuori. Su 81 di questi, la regola è un blocco standard che Cloudflare aggiunge al robots.txt di un sito quando viene attivata un'impostazione nella sua dashboard. Il testo è identico su tutti. 17 siti su 99 avevano regole che non comparivano su nessun altro sito del campione.
Tra i siti che si trovano dietro Cloudflare, 81 su 809 riportano quel blocco, circa 1 su 10. Tra quelli che non lo sono, una regola rivolta all'IA compare su 13 su 2708, circa 1 su 200.