Conteúdo do curso Lição 170 de 250 · Avaliações e Testes de LLM
Avaliações e Testes de LLM

Um Portão de Regressão de Prompt

Você tem avaliadores (correspondência exata, F1, um juiz LLM). A última peça os transforma em um gate: uma decisão de sim/não que seu CI executa em cada mudança de prompt para que um "pequeno ajuste" nunca piore as coisas silenciosamente. Esta é a diferença entre measuring a qualidade e defending ela.

("Regression" aqui significa uma mudança para pior, o sentido comum de software, não a técnica de modelagem do módulo de ML.)

Você compara duas execuções sobre o MESMO conjunto de avaliação: a baseline (o prompt em produção) e a candidate (sua mudança), como duas listas de pontuações por exemplo em [0, 1]. O gate bloqueia a mudança a menos que ela supere três barreiras:

  • Sem queda geral: a média do candidato é pelo menos a média da referência (uma tolerância mínima absorve o ruído).
  • Poucos novos erros: o número de exemplos onde o candidato pontuou pior que a referência fica dentro de um Orçamento (uma grande vitória não deve esconder várias regressões silenciosas).
  • A floor: uma média mínima absoluta, se você definir uma.

Construa regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) retornando um dicionário de relatório com baseline_mean, candidate_mean, delta (candidato menos referência), regressions (contagem de índices onde candidate[i] < baseline[i] - 1e-9), e passed (um bool, True apenas quando TODAS as barras forem limpas). As duas listas têm o mesmo comprimento. Pressione Run para filtrar um prompt candidato.

Sua vez

Escreva regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) sobre duas listas do mesmo tamanho com notas por exemplo. Retorne {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}, em que delta = candidate_mean - baseline_mean, regressions conta os índices com candidate[i] < baseline[i] - 1e-9, e passed só é True quando candidate_mean >= baseline_mean - tol AND regressions <= max_regressions AND (min_mean is None ou candidate_mean >= min_mean).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.