Conteúdo do curso Lição 166 de 250 · Avaliações e Testes de LLM
Avaliações e Testes de LLM

Avaliações Baseadas em Asserção (correspondência exata e contém)

Você mudou o prompt e a saída "parece melhor". Esse sentimento não é um resultado. O trabalho de um eval é substituí-lo por um número que você pode colocar em um pull request: este prompt pontua 0.86 no gold set, o antigo pontuou 0.74. Antes de buscar algo sofisticado, o eval de trabalho pesado é o mais barato: pegue um conjunto rotulado de inputs com respostas corretas conhecidas, execute seu sistema e conte quantos ele acertou.

O pulo do gato é decidir o que significa "certo". Um LLM quase nunca retorna a string de ouro byte por byte. Ele adiciona um ponto, coloca uma palavra em maiúscula, envolve a resposta em uma frase. Então você escolhe um match mode:

  • exact -> a previsão é igual à resposta selada depois que você normaliza (minúsculas, remove espaços em branco ao redor). Use isso para respostas curtas e fechadas: um rótulo, um sim/não, uma cidade.
  • contém -> a resposta selada aparece em algum lugar dentro da predição. Use isso quando o modelo puder ser tagarela: "A capital é Paris." ainda deve contar como correta para a resposta selada paris.

Normalizar importa. Sem isso, "Paris" e "paris" contam como erro e sua eval mente para você. Aqui está o formato de uma comparação:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

A acurácia é apenas a média dessas pontuações por exemplo. Em um harness real, o predictions vem de uma chamada de modelo ao vivo; aqui você é avaliado na matemática da pontuação, que é a parte que precisa estar exatamente correta. Mais duas verificações existem em cada harness consciente de segurança: uma allow-list (cada saída deve ser uma de um conjunto fixo de rótulos) e um scan de forbidden-pattern (nenhuma saída pode conter uma frase banida como "as an AI").

O que construir.

  • evaluate(predictions, gold, mode) -> a média da pontuação exata-ou-contém sobre duas listas paralelas, rounded para 4 casas decimais. Uma lista vazia retorna 0.0, nunca um crash. Lance ValueError em um modo desconhecido.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} contando quantos outputs limpos estão no conjunto allowed.
  • has_forbidden(text, patterns) -> True se qualquer regex em patterns for encontrado em text.

Pressione Execute para pontuar um conjunto de ouro em ambos os modos.

Sua vez

Escreva evaluate(predictions, gold, mode) retornando a média da pontuação sobre duas listas paralelas, onde mode é 'exact' (igualdade normalizada) ou 'contains' (gold aparece dentro da predição); normalize com strip().lower(), round a acurácia para 4 casas, retorne 0.0 em um conjunto vazio, e lance ValueError em um modo desconhecido. Também escreva label_in_set(outputs, allowed) -> {'passed', 'failed'} contabilizando saídas limpas contra o conjunto allowed, e has_forbidden(text, patterns) -> True se qualquer padrão regex for encontrado em text, ignorando maiúsculas (então as an ai também captura "As an AI").

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.