Conteúdo do curso Lição 216 de 250 · Projeto: Copiloto de Suporte ao Cliente
Projeto: Copiloto de Suporte ao Cliente

Avalie o Assistente (P@k + acurácia da resposta + Gate)

Esta é a lição que conquista a segunda metade da linha do seu currículo: e avaliou. Qualquer um pode montar uma demo de RAG. O que separa um júnior de alguém que você contrataria para cuidar de um assistente de produção é a habilidade de medir isso e de impedir que uma mudança ruim seja enviada. Você vai construir o harness de avaliação e o portão de regressão.

Você avalia contra um gold set: uma lista pequena rotulada onde cada caso tem uma query, os ids dos artigos relevantes e o texto da resposta esperada. Duas famílias de métrica:

  • Qualidade de recuperação -- precision_at_k: dos top-k ids que seu retriever retornou, qual fração é relevante. Isso te diz se o bot está olhando para os artigos certos.
  • Qualidade da resposta -- acurácia da resposta produzida em relação ao texto esperado, em dois modos: contains (o trecho esperado aparece na resposta, sem diferenciar maiúsculas de minúsculas) e exact (uma correspondência exata aparada). contains é a opção tolerante e realista para respostas de texto livre.

Construa estes:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: fração dos primeiros k ids recuperados que estão no conjunto relevante; 0.0 para uma recuperação vazia. answer_accuracy: 1.0 ou 0.0 para uma previsão, respeitando o modo.

evaluate(config) une tudo. O config dict carrega a gold list, uma retriever function (query -> ranked ids), uma answerer function (query -> text) e as configurações k e mode. Execute cada caso gold e retorne um dict com pelo menos n (casos pontuados), precision_at_k (média sobre os casos, arredondada para 4 casas), e answer_accuracy (média, arredondada para 4). Um empty gold set não deve travar -- retorne zeros.

regression_gate(old, new) é a proteção de CI que você conectaria em um pull request: retorne True apenas se a nova execução não piorou na métrica de barreira (answer_accuracy por padrão) -- igual ou melhor está ok, uma queda retorna False. Isso é o que, na vida real, impede que um ajuste de prompt destrua a qualidade silenciosamente. Pressione Run para pontuar um bot perfeito e um quebrado e veja a barreira parar a regressão.

Sua vez

Construa o suporte de avaliação sobre um conjunto gold rotulado. precision_at_k(retrieved, relevant, k) para recuperação e answer_accuracy(predicted, expected, mode) (contains / exact) para respostas. evaluate(config) executa o conjunto gold (com as funções retriever e answerer, k, mode) e retorna um dicionário de métricas de médias (n, precision_at_k, answer_accuracy), seguro para vazios. regression_gate(old, new) retorna True apenas se a acurácia da resposta não caiu.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.