Dez mil páginas sem servidor
· By Lucian Fialho
The blog is written in Portuguese for now.
O paper7 é um site estático: todas as páginas são geradas de uma vez e servidas como arquivos. O que isso dá, o que custa e o que fizemos para buscador e para modelo de linguagem.
O paper7 tem perto de dez mil páginas: uma por organização, por dataset, por paper, por estado, por país, em dois idiomas. Nenhuma é montada na hora do acesso.
O conceito: site estático
Num site comum, cada visita faz um servidor consultar um banco de dados e montar a página. Num site estático, todas as páginas são montadas antes, uma única vez, e publicadas como arquivos. Visitar é só baixar um arquivo.
O ganho é direto: é rápido, é barato e quase não tem o que quebrar ou invadir. O custo é que nada muda entre duas publicações. Para um mapa atualizado uma vez por dia, é uma troca boa.
O paper7 é feito em Next.js, exportado como arquivos e servido pela Cloudflare. A única parte que roda código a cada acesso é pequena: os redirecionamentos do site antigo e a pergunta em linguagem natural do terminal.
Dois idiomas
Cada página existe em português e em inglês, com endereços traduzidos: /paises/ e /en/countries/. As duas versões apontam uma para a outra, que é o que diz ao buscador qual mostrar a quem.
Para o buscador
- Sitemap: a lista de todos os endereços, com a data da última mudança.
- Endereço canônico: cada página diz qual é o seu endereço oficial, para variações não contarem como páginas diferentes.
- Dados estruturados: além do texto, cada página leva uma descrição em formato de máquina: isto é uma organização, este é o nome, este é o site.
- Páginas por recorte: por estado, por tipo, por tipo dentro de cada estado. Cada filtro útil tem endereço próprio.
Para o modelo de linguagem
O site publica um llms.txt, um resumo em texto puro do que existe e onde está, e uma versão completa com os dados. Cada organização também tem um JSON aberto com tudo o que o mapa sabe dela, fonte por fonte.
A ideia é a mesma dos dados estruturados, para outro leitor: quem chega não deveria ter de adivinhar a partir do HTML.
O que custa
Gerar tudo leva minutos, e a publicação envia dezenas de milhares de arquivos. Uma mudança de uma linha no rodapé republica o site inteiro. E a página do terminal, que carrega os dados para filtrar no navegador, passa de um megabyte.