paper7Atualizado em 21/11/2026 · English

← Blog

O que o robots.txt de 938 sites diz aos robôs de IA

· Por Lucian Fialho

Lemos o robots.txt de cada organização do mapa para saber quem barra robôs de IA. A maioria de quem faz IA não barra ninguém.

Cada site pode dizer, num arquivo chamado robots.txt, quais robôs podem ler suas páginas. Com os modelos de linguagem, apareceram robôs novos: os que coletam texto para treino, os que alimentam buscadores com IA e os que buscam uma página a pedido de um usuário.

Fomos ver o que as organizações do mapa, que são justamente quem faz IA, dizem a esses robôs.

Como lemos

Para cada site, o coletor baixa o robots.txt e avalia robô por robô, separando por uso: treino, busca com IA, leitura a pedido e busca tradicional. Também olha os sinais de conteúdo mais novos e se existe um llms.txt, o arquivo que resume o site para modelos.

O resultado cai em quatro grupos:

O que encontramos

De 938 sites, 565 têm o arquivo, 264 não têm e 109 não responderam.

Entre os 829 que responderam:

E 74 sites publicam um llms.txt.

Como ler isso

O robots.txt é um pedido, não uma trava. Ele diz o que o dono do site quer; não diz o que os robôs fazem. Site sem arquivo conta como aberto porque essa é a regra do padrão, não porque alguém decidiu abrir.

Os 109 sem resposta não entram em nenhum grupo. Quando um site não responde, o mapa mantém a leitura anterior em vez de trocar por "sem arquivo".