Conteúdo do curso Lição 238 de 250 · Projeto: Prompt Evaluation CI
Projeto: Prompt Evaluation CI

O Portão de Regressão

Esta é a final, e a linha no seu currículo: construiu um harness de prompt-eval + gate de regressão. Você tem scorers (lição 1) e um parser de juiz (lição 2). Agora você conecta a peça que faz isso CI: um gate que roda em cada mudança de prompt e bloqueia o merge se a qualidade cair. Isso é o que impede o "pequeno ajuste" de um colega de destruir a acurácia em produção silenciosamente -> o revisor automatizado que nunca se cansa.

O modelo: você tem um conjunto de ouro, e duas versões de um prompt, cada uma produzindo uma lista de previsões sobre esse conjunto. A acurácia aqui é simplesmente a fração de previsões que coincidem exatamente com a resposta selada (stripped). Primeiro, compare as duas:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, onde cada accuracy é a taxa de correspondência exata contra golds e delta é o quanto v2 se moveu em relação a v1. Um delta positivo significa que o candidato melhorou; negativo significa que ele regrediu.

Então o próprio portão. Em CI você não bloqueia por ruído -> um limiar min_delta deixa um candidato cair por uma pequena quantidade tolerada (muitas vezes 0.0, significando "não pode piorar") antes de ser rejeitado:

  • gate(baseline, candidate, min_delta) -> baseline e candidate são cada um um par (preds, golds). Pontue ambos como acurácia de correspondência exata, calcule delta = candidate_acc - baseline_acc e retorne {"pass": bool, "delta": delta, "report": str}. O portão passes quando delta >= min_delta e fails caso contrário.

O report é uma linha única legível por humanos que um desenvolvedor vê no log do CI. Faça com que ela declare o resultado e os números, por exemplo "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" ou uma variante de FAIL: .... Os testes verificam se o relatório começa com PASS ou FAIL correspondendo ao booleano e menciona ambas as acurácias, então a redação exata é sua mas os fatos devem estar nela.

Concretamente: uma baseline em 0.8 e um candidato em 0.6 com min_delta=0.0 -> delta -0.2, o gate fails, o merge é bloqueado. Troque-os e o candidato melhora -> o gate passes. Esse único booleano é o que você conecta no CI para transformar "o prompt parece melhor" em "o prompt comprovadamente não é pior, ou o build fica vermelho". Pressione Run para barrar uma melhoria e uma regressão.

Sua vez

Construa o portão de regressão da CI. Escreva compare(v1_preds, v2_preds, golds) retornando {"v1", "v2", "delta"} onde cada valor é a acurácia de correspondência exata (fração de previsões iguais ao gold limpo) e delta = v2 - v1. Escreva gate(baseline, candidate, min_delta) recebendo dois pares de (preds, golds) e retornando {"pass": bool, "delta": float, "report": str}, passando se delta >= min_delta. O relatório deve começar com PASS/FAIL (correspondendo ao booleano) e mencionar ambas as acurácias, cada uma escrita com três decimais ("%.3f", então 0.5 aparece como 0.500). Uma regressão deve falhar no portão; uma melhoria deve passar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.