Avaliação em Lote sobre Documentos Rotulados
Você pode analisar, validar e reconciliar um único documento. A pergunta que um gerente de contratação realmente faz é: quão bom ele é em milhares? Você responde da forma que toda equipe séria de ML e dados faz -> com um eval. Você pega um lote de documentos que você rotulou manualmente (o conjunto gold), executa seu extrator sobre eles e mede com que frequência cada campo saiu correto. Sem eval, sem credibilidade.
Escreva evaluate(predictions, gold). Ambos são listas de dicts do mesmo comprimento, alinhados por posição -> predictions[i] é a saída do seu extrator para o documento cuja resposta selada é gold[i]. Compare-os campo por campo e retorne um Resumo:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}As regras:
- O conjunto de campos para pontuar é a união de cada chave vista nos registros gold. (Campo ausente em uma previsão conta como errado para esse campo.) O campo
- A é correct quando o valor previsto é igual ao valor gold. Use
.get(field)na predição para que uma chave ausente seja comparada comoNoneem vez de causar um erro. accuracyé o total de campos corretos dividido pelo total de campos comparados (documentos vezes campos), arredondado para 4 casas decimais.- Seguro de conjunto vazio: se
goldestiver vazio, retorne{"accuracy": 0.0, "per_field": {}, "n": 0}-> nunca divida por zero.
pandas deixa a organização organizada se você quiser -> construa um DataFrame de acertos por campo e some as colunas -> mas alguns laços de dicionário simples são tão bons quanto. Não use seed aqui; o lote é fixo, então sua acurácia é um número que o avaliador pode checar exatamente.
Isso fecha o laço no seu Document Intelligence Service: extrair -> reparar -> validar -> reconciliar -> measure. "Eu construí um pipeline de extração validado por schema com reconciliação e um harness de avaliação em nível de campo" é uma frase que te garante uma segunda entrevista. Pressione Run para pontuar um pequeno lote rotulado.
Escreva evaluate(predictions, gold) sobre duas listas de dicts de registros alinhados por posição. Pontue cada campo na união das chaves dos gold records; um campo está correto quando prediction.get(field) == gold[field] (uma chave ausente compara como None). Retorne {"accuracy", "per_field", "n"} onde accuracy é o total correto sobre o total de campos comparados (arredondado para 4 dp), per_field[field] é {"correct", "total"}, e n é a contagem de documentos. Se gold estiver vazio, retorne {"accuracy": 0.0, "per_field": {}, "n": 0} (sem divisão por zero).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.