O que fazer com mil endereços de um site antigo
· Por Lucian Fialho
O domínio paper7.org já teve outro site. O Search Console acusava centenas de páginas não encontradas. A saída foi redirecionar o que tem equivalente e dizer 410 para o resto.
O domínio paper7.org hospedava antes um site de leitura de papers. Quando o mapa entrou no lugar, o Google continuou visitando os endereços antigos e o Search Console passou a listar páginas "não encontradas" às centenas.
Os três tipos de endereço
/2308.08833: um paper, pelo identificador do arXiv;/annotations/...: anotações de usuários;/category/...: listas por categoria.
Primeira ideia, e por que mudou
A primeira regra mandava todo endereço de paper para a página dele no arXiv. Funciona para a pessoa que clica, mas para o buscador é mandar embora a autoridade que o domínio tinha naquele endereço.
A regra final:
- se o paper existe no paper7, redirecionamento permanente para a nossa página dele;
- se não existe, resposta 410, que diz "isto saiu do ar de propósito";
- anotações e categorias, sempre 410.
Para isso criamos uma página para cada paper do mapa que tem identificador do arXiv: 1.359 páginas, com resumo quando há, as organizações ligadas e o motivo da ligação.
O que os números mostraram
Dos cerca de mil identificadores antigos na lista do Search Console, só 9 batem com papers que o mapa tem. Para quase todos os outros, a resposta honesta é 410.
Detalhes que valem para quem passar por isso
- O arquivo de redirecionamentos da hospedagem não sabe dizer 410 nem testar se a página de destino existe. A regra roda num Worker que só é chamado quando nenhum arquivo atende.
- O Search Console mostra 410 dentro do grupo "Não encontrado (404)". O número só cai depois que o Google revisita cada endereço.
- Paper sem resumo vira página fina. Hoje isso vale para os trabalhos que vieram só do OpenAlex.