Um Portão de Regressão de Prompt
Você tem avaliadores (correspondência exata, F1, um juiz LLM). A última peça os transforma em um gate: uma decisão de sim/não que seu CI executa em cada mudança de prompt para que um "pequeno ajuste" nunca piore as coisas silenciosamente. Esta é a diferença entre measuring a qualidade e defending ela.
("Regression" aqui significa uma mudança para pior, o sentido comum de software, não a técnica de modelagem do módulo de ML.)
Você compara duas execuções sobre o MESMO conjunto de avaliação: a baseline (o prompt em produção) e a candidate (sua mudança), como duas listas de pontuações por exemplo em [0, 1]. O gate bloqueia a mudança a menos que ela supere três barreiras:
- Sem queda geral: a média do candidato é pelo menos a média da referência (uma tolerância mínima absorve o ruído).
- Poucos novos erros: o número de exemplos onde o candidato pontuou pior que a referência fica dentro de um Orçamento (uma grande vitória não deve esconder várias regressões silenciosas).
- A floor: uma média mínima absoluta, se você definir uma.
Construa regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) retornando um dicionário de relatório com baseline_mean, candidate_mean, delta (candidato menos referência), regressions (contagem de índices onde candidate[i] < baseline[i] - 1e-9), e passed (um bool, True apenas quando TODAS as barras forem limpas). As duas listas têm o mesmo comprimento. Pressione Run para filtrar um prompt candidato.
Escreva regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) sobre duas listas do mesmo tamanho com notas por exemplo. Retorne {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}, em que delta = candidate_mean - baseline_mean, regressions conta os índices com candidate[i] < baseline[i] - 1e-9, e passed só é True quando candidate_mean >= baseline_mean - tol AND regressions <= max_regressions AND (min_mean is None ou candidate_mean >= min_mean).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.