Quanto um modelo deveria custar pela nota que tem
· Por Lucian Fialho
Uma reta entre preço e nota mostra quais modelos estão baratos ou caros para o que entregam. Ela explica só 11% do preço, e isso é parte do resultado.
Com preço e nota de benchmark na mesma tabela, a pergunta óbvia é se um paga pelo outro. Fizemos a conta mais simples possível.
A conta
Pegamos os modelos que têm preço de API e nota na arena de texto da LMArena: 138 no dia em que isso entrou. Ajustamos uma reta entre a nota e o logaritmo do preço de entrada. O logaritmo é porque os preços vão de centavos a dezenas de dólares por milhão de tokens.
A reta dá, para cada nota, o preço que modelos daquele nível costumam ter. Dividindo o preço de um modelo por esse preço esperado, sai um número fácil de ler:
- 0,50× custa metade do esperado para a nota que tem;
- 2,00× custa o dobro.
Na aba de preços do terminal isso é a coluna "÷ esperado".
O que apareceu
Nas pontas, o resultado faz sentido. Modelos pequenos e recentes de laboratórios chineses aparecem a 0,04× do esperado. No outro extremo está o GPT-4, a 150×: um modelo antigo, de nota hoje mediana, que continua listado pelo preço de quando era o melhor.
O número que importa
A nota explica 11% da variação do preço. Os outros 89% são outra coisa: marca, idade do modelo, tamanho do contexto, velocidade, quem hospeda.
Isso muda o que dá para afirmar. A medida serve para achar os extremos, que são grandes demais para ser ruído. Não serve para dizer que um modelo a 1,3× está caro.
Outros cuidados
- A nota de cada modelo é ligada ao preço pelo nome. Nome parecido pode casar errado, e modelo com várias variantes usa a melhor nota.
- A arena de texto mede preferência de pessoas em conversa. Um modelo barato para o que entrega em conversa pode não ser em código.
- O preço é o de entrada. Modelos com saída muito mais cara que a entrada parecem melhores do que são.
Por que publicar um resultado fraco
Porque a pergunta é feita o tempo todo, e a resposta "preço e qualidade quase não andam juntos" é informação. A tela mostra a reta, mostra o quanto ela explica e deixa a conclusão para quem lê.