O que o robots.txt de 938 sites diz aos robôs de IA
· Por Lucian Fialho
Lemos o robots.txt de cada organização do mapa para saber quem barra robôs de IA. A maioria de quem faz IA não barra ninguém.
Cada site pode dizer, num arquivo chamado robots.txt, quais robôs podem ler suas páginas. Com os modelos de linguagem, apareceram robôs novos: os que coletam texto para treino, os que alimentam buscadores com IA e os que buscam uma página a pedido de um usuário.
Fomos ver o que as organizações do mapa, que são justamente quem faz IA, dizem a esses robôs.
Como lemos
Para cada site, o coletor baixa o robots.txt e avalia robô por robô, separando por uso: treino, busca com IA, leitura a pedido e busca tradicional. Também olha os sinais de conteúdo mais novos e se existe um llms.txt, o arquivo que resume o site para modelos.
O resultado cai em quatro grupos:
- aberta: não barra nenhum robô de IA;
- barra alguns: barra parte deles;
- barra treino: barra a coleta para treino e deixa o resto;
- fecha tudo: fechado para robôs em geral.
O que encontramos
De 938 sites, 565 têm o arquivo, 264 não têm e 109 não responderam.
Entre os 829 que responderam:
- 755 estão abertos, contando os que não têm arquivo;
- 29 barram alguns robôs de IA;
- 29 barram a coleta para treino;
- 16 fecham tudo.
E 74 sites publicam um llms.txt.
Como ler isso
O robots.txt é um pedido, não uma trava. Ele diz o que o dono do site quer; não diz o que os robôs fazem. Site sem arquivo conta como aberto porque essa é a regra do padrão, não porque alguém decidiu abrir.
Os 109 sem resposta não entram em nenhum grupo. Quando um site não responde, o mapa mantém a leitura anterior em vez de trocar por "sem arquivo".