paper7Atualizado em 21/11/2026 · English

← Blog

Classificar com um modelo e saber quando não confiar

· Por Lucian Fialho

Um modelo de linguagem lê a ficha de cada dataset e responde perguntas fechadas. O que ele não decide com folga não vira dado.

Cada dataset do mapa tem uma ficha escrita pelo autor. Queríamos saber, de cada um, de onde veio o conteúdo, de que domínio é, se tem dado pessoal, se foi feito para português. São 357 fichas classificadas até agora, e ninguém vai ler todas à mão a cada semana.

O conceito: classificação com taxonomia fechada

Classificar é pôr cada item numa categoria de uma lista. A lista é a taxonomia. O ponto importante é que ela é fechada: o modelo não escreve uma resposta livre, escolhe entre opções definidas antes.

Isso muda o tipo de erro. Um texto livre pode inventar. Uma escolha entre opções só pode errar a opção, e dá para medir o quanto o modelo hesitou.

Como funciona aqui

São duas camadas.

A probabilidade é o que segura a qualidade. Resposta abaixo do limite de confiança não vira dado: o item vai para uma lista de revisão e o campo fica vazio no site.

A taxonomia muda

A primeira versão das perguntas não sobreviveu ao primeiro lote. Vendo as respostas, ficou claro que algumas opções se sobrepunham e outras ninguém escolhia. A taxonomia de modelos está na segunda versão.

Para não reclassificar tudo a cada rodada, cada item guarda uma impressão digital da ficha, da taxonomia e das etiquetas. Se nada disso mudou, o item é pulado.

Limites