Um fato por linha: como o paper7 guarda o que sabe
· Por Lucian Fialho
Cada dado do mapa é uma linha com fonte, coletor e dia em que foi visto. É isso que deixa o site dizer de onde veio cada número.
O paper7 começou como um levantamento manual de laboratórios de IA no Brasil e virou um mapa de quem faz IA em nove países. O que não mudou desde o primeiro dia foi a forma de guardar os dados.
A unidade é o fato
Não existe uma tabela de organizações editada à mão. Existe um arquivo de fatos, e cada linha diz uma coisa só:
- de qual organização se trata;
- qual campo (nome, site, downloads, licença de um modelo);
- o valor;
- o tipo da fonte (página primária, API pública, imprensa, trecho de busca);
- o endereço onde aquilo foi visto;
- qual coletor trouxe;
- o dia em que aquele valor apareceu pela primeira vez.
O perfil de uma organização é montado a partir dessas linhas. Quando um valor muda, entra uma linha nova e a antiga continua lá. Por isso dá para mostrar a fonte de cada número e, quando alguém pede correção, saber exatamente qual linha estava errada.
De onde vêm os dados
- Hugging Face: modelos, datasets, downloads e seguidores de cada conta.
- OpenAlex: instituições com pesquisa de IA e os trabalhos mais citados de cada uma.
- arXiv: papers citados nas fichas dos modelos.
- OpenRouter e Vercel AI Gateway: modelos oferecidos por API e seus preços.
- LMArena: classificação dos modelos por arena.
- O agêntico: notícias que citam cada organização, só as confirmadas por dois ou mais veículos.
- Os próprios sites: ícone, contas e o que o
robots.txtdiz aos robôs de IA.
O que roda sozinho
Duas rotinas no GitHub Actions. A semanal refaz tudo: instituições, coletas, classificação, exportação e publicação. A diária lê só o que muda rápido (Hugging Face, catálogos de preço e LMArena), grava o retrato do dia e publica.
Entre as duas há uma trava: antes de gravar, a rotina confere se os números não despencaram. Uma coleta que volta vazia por falha de rede não pode apagar o que já se sabia.
O que este desenho não resolve
O fato guarda o que a fonte disse, não se a fonte está certa. Licença declarada numa ficha não garante que quem publicou tinha o direito de licenciar. E organização que não está em nenhuma das fontes simplesmente não aparece, que é o caso de muita empresa pequena fora do Hugging Face.