Classificar com um modelo e saber quando não confiar
· By Lucian Fialho
The blog is written in Portuguese for now.
Um modelo de linguagem lê a ficha de cada dataset e responde perguntas fechadas. O que ele não decide com folga não vira dado.
Cada dataset do mapa tem uma ficha escrita pelo autor. Queríamos saber, de cada um, de onde veio o conteúdo, de que domínio é, se tem dado pessoal, se foi feito para português. São 357 fichas classificadas até agora, e ninguém vai ler todas à mão a cada semana.
O conceito: classificação com taxonomia fechada
Classificar é pôr cada item numa categoria de uma lista. A lista é a taxonomia. O ponto importante é que ela é fechada: o modelo não escreve uma resposta livre, escolhe entre opções definidas antes.
Isso muda o tipo de erro. Um texto livre pode inventar. Uma escolha entre opções só pode errar a opção, e dá para medir o quanto o modelo hesitou.
Como funciona aqui
São duas camadas.
- Regra: o que as etiquetas da ficha já dizem (idioma, licença, tarefa) é lido direto, sem modelo nenhum.
- Modelo: o que depende de entender o texto vai para o Jev, um modelo de classificação. Ele lê a ficha e responde cada pergunta da taxonomia com uma opção e uma probabilidade.
A probabilidade é o que segura a qualidade. Resposta abaixo do limite de confiança não vira dado: o item vai para uma lista de revisão e o campo fica vazio no site.
A taxonomia muda
A primeira versão das perguntas não sobreviveu ao primeiro lote. Vendo as respostas, ficou claro que algumas opções se sobrepunham e outras ninguém escolhia. A taxonomia de modelos está na segunda versão.
Para não reclassificar tudo a cada rodada, cada item guarda uma impressão digital da ficha, da taxonomia e das etiquetas. Se nada disso mudou, o item é pulado.
Limites
- O modelo lê o que o autor escreveu. Ficha vazia ou enganosa dá classificação vazia ou enganosa.
- "Contém dados pessoais" é o que a ficha indica, não uma auditoria do conteúdo.
- A fila é intercalada: o primeiro item de cada organização, depois o segundo de cada. Assim uma organização com mil modelos não consome a rodada inteira.