Um terminal para quem faz IA
· Por Lucian Fialho
O paper7 ganhou um painel único: quem lidera cada benchmark, quanto custa cada modelo em duas fontes e o que mudou. E um erro nosso no caminho.
A ideia era uma tela só para responder três perguntas: quem lidera, quanto custa e o que mudou. Ela está em /terminal/.
Benchmarks
A fonte é a LMArena, que publica a classificação com licença CC BY 4.0 e atualiza todo dia. A nota vem de votos de pessoas que comparam duas respostas sem saber de qual modelo vieram. São sete arenas: texto, código web, visão, busca, imagem, edição de imagem e vídeo.
Ela cobre modelo fechado e modelo aberto na mesma régua, que é o que faltava para comparar um laboratório que só vende API com outro que publica pesos.
Preço em duas fontes
O mapa já lia o catálogo do OpenRouter. Acrescentamos o Vercel AI Gateway e pusemos os dois lado a lado.
No dia em que isso entrou, 117 modelos tinham o mesmo identificador nas duas fontes e 27 deles tinham preço de entrada diferente. O caso mais largo era o Kimi K3: US$ 0,19 por milhão de tokens numa fonte e US$ 3,00 na outra.
A diferença engana um pouco em modelo de pesos abertos. Cada fonte lista o provedor mais barato que tem, então a comparação é entre hospedagens diferentes, não entre dois preços do mesmo fornecedor. A tela avisa.
Série diária
O Hugging Face mostra downloads dos últimos 30 dias e os catálogos mostram o preço de agora. Nenhum guarda histórico. Então toda rodada grava o retrato do dia, e a diferença entre dois catálogos vira registro: modelo que entrou, modelo que saiu, preço que mudou.
O erro
Ao juntar os preços da Vercel, o código de exportação reaproveitou o nome de uma variável que já guardava as métricas da organização. Resultado: as 21 organizações com modelos por API, entre elas Google, OpenAI e Anthropic, ficaram algumas horas sem downloads, seguidores e trabalhos no site inteiro.
Achamos porque a nova aba de organizações listava as maiores do mundo sem nenhum download. Corrigido no mesmo dia.
O que ainda falta
- Só a categoria geral de cada arena, sem recorte por idioma ou tarefa.
- As colunas de variação dependem de a série diária acumular dias.
- Provedor que não está no mapa aparece sem logo e sem perfil. Sete entraram depois (xAI, Mistral AI e outros); mais de cem modelos da LMArena seguem sem organização ligada.