Avaliações Baseadas em Asserção (correspondência exata e contém)
Você mudou o prompt e a saída "parece melhor". Esse sentimento não é um resultado. O trabalho de um eval é substituí-lo por um número que você pode colocar em um pull request: este prompt pontua 0.86 no gold set, o antigo pontuou 0.74. Antes de buscar algo sofisticado, o eval de trabalho pesado é o mais barato: pegue um conjunto rotulado de inputs com respostas corretas conhecidas, execute seu sistema e conte quantos ele acertou.
O pulo do gato é decidir o que significa "certo". Um LLM quase nunca retorna a string de ouro byte por byte. Ele adiciona um ponto, coloca uma palavra em maiúscula, envolve a resposta em uma frase. Então você escolhe um match mode:
- exact -> a previsão é igual à resposta selada depois que você normaliza (minúsculas, remove espaços em branco ao redor). Use isso para respostas curtas e fechadas: um rótulo, um sim/não, uma cidade.
- contém -> a resposta selada aparece em algum lugar dentro da predição. Use isso quando o modelo puder ser tagarela: "A capital é Paris." ainda deve contar como correta para a resposta selada
paris.
Normalizar importa. Sem isso, "Paris" e "paris" contam como erro e sua eval mente para você. Aqui está o formato de uma comparação:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)A acurácia é apenas a média dessas pontuações por exemplo. Em um harness real, o predictions vem de uma chamada de modelo ao vivo; aqui você é avaliado na matemática da pontuação, que é a parte que precisa estar exatamente correta. Mais duas verificações existem em cada harness consciente de segurança: uma allow-list (cada saída deve ser uma de um conjunto fixo de rótulos) e um scan de forbidden-pattern (nenhuma saída pode conter uma frase banida como "as an AI").
O que construir.
evaluate(predictions, gold, mode)-> a média da pontuação exata-ou-contém sobre duas listas paralelas,rounded para 4 casas decimais. Uma lista vazia retorna0.0, nunca um crash. LanceValueErrorem um modo desconhecido.label_in_set(outputs, allowed)->{"passed", "failed"}contando quantos outputs limpos estão no conjuntoallowed.has_forbidden(text, patterns)->Truese qualquer regex empatternsfor encontrado emtext.
Pressione Execute para pontuar um conjunto de ouro em ambos os modos.
Escreva evaluate(predictions, gold, mode) retornando a média da pontuação sobre duas listas paralelas, onde mode é 'exact' (igualdade normalizada) ou 'contains' (gold aparece dentro da predição); normalize com strip().lower(), round a acurácia para 4 casas, retorne 0.0 em um conjunto vazio, e lance ValueError em um modo desconhecido. Também escreva label_in_set(outputs, allowed) -> {'passed', 'failed'} contabilizando saídas limpas contra o conjunto allowed, e has_forbidden(text, patterns) -> True se qualquer padrão regex for encontrado em text, ignorando maiúsculas (então as an ai também captura "As an AI").
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.