Conteúdo do curso Lição 236 de 250 · Projeto: Prompt Evaluation CI
Projeto: Prompt Evaluation CI

Conjunto de Ouro + Scorers

Você enviou um novo prompt e ele parece melhor. Seu líder de equipe faz a única pergunta que importa: melhor por quanto, e como você sabe? "Vibes" não sobrevivem à revisão de código. O trabalho é transformar uma afirmação vaga em um número que você possa defender, e a base de cada harness de prompt-eval é um gold set (uma lista de inputs pareados com suas respostas selada conhecidas) mais um scorer (uma função que diz quão próxima a resposta de um modelo está da resposta selada).

Esta é a lição 1 de um projeto de três partes. Ao final do módulo você terá um harness de prompt-evaluation real com um CI regression gate -> o tipo de coisa que um gerente de contratação vê em um currículo como "construiu um prompt-eval harness + regression gate" e sabe imediatamente que você pode entregar funcionalidades de LLM com responsabilidade. Hoje você constrói a régua de medição: três scorers e o runner que aplica um em todo um gold set.

Uma nota honesta sobre o escopo: o harness e a lógica de regression-gate que você constrói aqui são reais e transferíveis, mas o judge model é mockado e a "acurácia" aqui é de correspondência exata. Em um projeto real, você conectaria essas mesmas peças a um judge model ao vivo e scorers mais ricos.

Tarefas diferentes precisam de scorers diferentes, então você constrói três:

  • score_exact(pred, gold) -> 1.0 se a prediction for igual à gold answer após um .strip() em ambas, caso contrário 0.0. Esta é a chamada correta para um classifier ("positive" vs "negative") onde apenas uma correspondência exata conta.
  • score_contains(pred, gold) -> 1.0 se a string de ouro aparecer em qualquer lugar dentro da previsão (sem diferenciar maiúsculas de minúsculas, ambos removendo espaços), caso contrário 0.0. Bom para verificações de "a resposta mencionou o fato principal?" onde palavras extras estão liberadas.
  • token_f1(pred, gold) -> uma pontuação de partial-credit em [0.0, 1.0] baseada em sobreposição de palavras, o motor principal para respostas de texto livre onde um erro próximo deve vencer um erro total.

Como o token F1 funciona. Coloque em minúsculas e divida ambas as strings em tokens de palavras. Conte quantos tokens elas compartilham, respeitando duplicatas (trate as listas de tokens como multiconjuntos, então collections.Counter e sua & interseção são seus amigos). Então:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

Exemplo prático: pred="the quick brown fox", gold="the lazy brown dog". Eles compartilham the e brown -> sobreposição 2. A precisão é 2/4, a revocação é 2/4, então o F1 é 0.5. Cuidado com as bordas: se qualquer lado tiver zero tokens, ou se a sobreposição for zero, o F1 é 0.0 (nunca divida por zero).

Finalmente o executor que transforma um scorer em uma avaliação:

  • run_suite(predictions, golds, scorer) -> pontue cada par (pred, gold) com a função scorer fornecida e retorne {"score": mean_score, "per_case": [list of each case's score]}. A média sobre uma suíte vazia é 0.0.

Passar o scorer in (em vez de deixar fixo no código) é o design que permite avaliar tanto classificadores de correspondência exata quanto respostas de texto livre. Pressione Run para avaliar um pequeno conjunto de ouro de três formas diferentes.

Sua vez

Construa o núcleo de pontuação de um harness de prompt-eval. Escreva score_exact(pred, gold) (1.0 em uma correspondência exata limpa senão 0.0), score_contains(pred, gold) (1.0 se o gold limpo e em minúsculas for uma substring da prediction senão 0.0), e token_f1(pred, gold) (F1 de sobreposição de tokens sobre tokens de palavras em minúsculas, 0.0 quando qualquer lado estiver vazio ou não houver sobreposição). Depois escreva run_suite(predictions, golds, scorer) retornando {"score": mean, "per_case": [scores]} (média 0.0 em uma suite vazia).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.