O Portão de Regressão
Esta é a final, e a linha no seu currículo: construiu um harness de prompt-eval + gate de regressão. Você tem scorers (lição 1) e um parser de juiz (lição 2). Agora você conecta a peça que faz isso CI: um gate que roda em cada mudança de prompt e bloqueia o merge se a qualidade cair. Isso é o que impede o "pequeno ajuste" de um colega de destruir a acurácia em produção silenciosamente -> o revisor automatizado que nunca se cansa.
O modelo: você tem um conjunto de ouro, e duas versões de um prompt, cada uma produzindo uma lista de previsões sobre esse conjunto. A acurácia aqui é simplesmente a fração de previsões que coincidem exatamente com a resposta selada (stripped). Primeiro, compare as duas:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, onde cada accuracy é a taxa de correspondência exata contragoldsedeltaé o quanto v2 se moveu em relação a v1. Um delta positivo significa que o candidato melhorou; negativo significa que ele regrediu.
Então o próprio portão. Em CI você não bloqueia por ruído -> um limiar min_delta deixa um candidato cair por uma pequena quantidade tolerada (muitas vezes 0.0, significando "não pode piorar") antes de ser rejeitado:
gate(baseline, candidate, min_delta)->baselineecandidatesão cada um um par(preds, golds). Pontue ambos como acurácia de correspondência exata, calculedelta = candidate_acc - baseline_acce retorne{"pass": bool, "delta": delta, "report": str}. O portão passes quandodelta >= min_deltae fails caso contrário.
O report é uma linha única legível por humanos que um desenvolvedor vê no log do CI. Faça com que ela declare o resultado e os números, por exemplo "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" ou uma variante de FAIL: .... Os testes verificam se o relatório começa com PASS ou FAIL correspondendo ao booleano e menciona ambas as acurácias, então a redação exata é sua mas os fatos devem estar nela.
Concretamente: uma baseline em 0.8 e um candidato em 0.6 com min_delta=0.0 -> delta -0.2, o gate fails, o merge é bloqueado. Troque-os e o candidato melhora -> o gate passes. Esse único booleano é o que você conecta no CI para transformar "o prompt parece melhor" em "o prompt comprovadamente não é pior, ou o build fica vermelho". Pressione Run para barrar uma melhoria e uma regressão.
Construa o portão de regressão da CI. Escreva compare(v1_preds, v2_preds, golds) retornando {"v1", "v2", "delta"} onde cada valor é a acurácia de correspondência exata (fração de previsões iguais ao gold limpo) e delta = v2 - v1. Escreva gate(baseline, candidate, min_delta) recebendo dois pares de (preds, golds) e retornando {"pass": bool, "delta": float, "report": str}, passando se delta >= min_delta. O relatório deve começar com PASS/FAIL (correspondendo ao booleano) e mencionar ambas as acurácias, cada uma escrita com três decimais ("%.3f", então 0.5 aparece como 0.500). Uma regressão deve falhar no portão; uma melhoria deve passar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.