Conjunto de Ouro + Scorers
Você enviou um novo prompt e ele parece melhor. Seu líder de equipe faz a única pergunta que importa: melhor por quanto, e como você sabe? "Vibes" não sobrevivem à revisão de código. O trabalho é transformar uma afirmação vaga em um número que você possa defender, e a base de cada harness de prompt-eval é um gold set (uma lista de inputs pareados com suas respostas selada conhecidas) mais um scorer (uma função que diz quão próxima a resposta de um modelo está da resposta selada).
Esta é a lição 1 de um projeto de três partes. Ao final do módulo você terá um harness de prompt-evaluation real com um CI regression gate -> o tipo de coisa que um gerente de contratação vê em um currículo como "construiu um prompt-eval harness + regression gate" e sabe imediatamente que você pode entregar funcionalidades de LLM com responsabilidade. Hoje você constrói a régua de medição: três scorers e o runner que aplica um em todo um gold set.
Uma nota honesta sobre o escopo: o harness e a lógica de regression-gate que você constrói aqui são reais e transferíveis, mas o judge model é mockado e a "acurácia" aqui é de correspondência exata. Em um projeto real, você conectaria essas mesmas peças a um judge model ao vivo e scorers mais ricos.
Tarefas diferentes precisam de scorers diferentes, então você constrói três:
score_exact(pred, gold)->1.0se a prediction for igual à gold answer após um.strip()em ambas, caso contrário0.0. Esta é a chamada correta para um classifier ("positive" vs "negative") onde apenas uma correspondência exata conta.score_contains(pred, gold)->1.0se a string de ouro aparecer em qualquer lugar dentro da previsão (sem diferenciar maiúsculas de minúsculas, ambos removendo espaços), caso contrário0.0. Bom para verificações de "a resposta mencionou o fato principal?" onde palavras extras estão liberadas.token_f1(pred, gold)-> uma pontuação de partial-credit em[0.0, 1.0]baseada em sobreposição de palavras, o motor principal para respostas de texto livre onde um erro próximo deve vencer um erro total.
Como o token F1 funciona. Coloque em minúsculas e divida ambas as strings em tokens de palavras. Conte quantos tokens elas compartilham, respeitando duplicatas (trate as listas de tokens como multiconjuntos, então collections.Counter e sua & interseção são seus amigos). Então:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Exemplo prático: pred="the quick brown fox", gold="the lazy brown dog". Eles compartilham the e brown -> sobreposição 2. A precisão é 2/4, a revocação é 2/4, então o F1 é 0.5. Cuidado com as bordas: se qualquer lado tiver zero tokens, ou se a sobreposição for zero, o F1 é 0.0 (nunca divida por zero).
Finalmente o executor que transforma um scorer em uma avaliação:
run_suite(predictions, golds, scorer)-> pontue cada par(pred, gold)com a funçãoscorerfornecida e retorne{"score": mean_score, "per_case": [list of each case's score]}. A média sobre uma suíte vazia é0.0.
Passar o scorer in (em vez de deixar fixo no código) é o design que permite avaliar tanto classificadores de correspondência exata quanto respostas de texto livre. Pressione Run para avaliar um pequeno conjunto de ouro de três formas diferentes.
Construa o núcleo de pontuação de um harness de prompt-eval. Escreva score_exact(pred, gold) (1.0 em uma correspondência exata limpa senão 0.0), score_contains(pred, gold) (1.0 se o gold limpo e em minúsculas for uma substring da prediction senão 0.0), e token_f1(pred, gold) (F1 de sobreposição de tokens sobre tokens de palavras em minúsculas, 0.0 quando qualquer lado estiver vazio ou não houver sobreposição). Depois escreva run_suite(predictions, golds, scorer) retornando {"score": mean, "per_case": [scores]} (média 0.0 em uma suite vazia).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.