Avalie o Assistente (P@k + acurácia da resposta + Gate)
Esta é a lição que conquista a segunda metade da linha do seu currículo: e avaliou. Qualquer um pode montar uma demo de RAG. O que separa um júnior de alguém que você contrataria para cuidar de um assistente de produção é a habilidade de medir isso e de impedir que uma mudança ruim seja enviada. Você vai construir o harness de avaliação e o portão de regressão.
Você avalia contra um gold set: uma lista pequena rotulada onde cada caso tem uma query, os ids dos artigos relevantes e o texto da resposta esperada. Duas famílias de métrica:
- Qualidade de recuperação --
precision_at_k: dos top-k ids que seu retriever retornou, qual fração é relevante. Isso te diz se o bot está olhando para os artigos certos. - Qualidade da resposta -- acurácia da resposta produzida em relação ao texto esperado, em dois modos:
contains(o trecho esperado aparece na resposta, sem diferenciar maiúsculas de minúsculas) eexact(uma correspondência exata aparada).containsé a opção tolerante e realista para respostas de texto livre.
Construa estes:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: fração dos primeiros k ids recuperados que estão no conjunto relevante; 0.0 para uma recuperação vazia. answer_accuracy: 1.0 ou 0.0 para uma previsão, respeitando o modo.
evaluate(config) une tudo. O config dict carrega a gold list, uma retriever function (query -> ranked ids), uma answerer function (query -> text) e as configurações k e mode. Execute cada caso gold e retorne um dict com pelo menos n (casos pontuados), precision_at_k (média sobre os casos, arredondada para 4 casas), e answer_accuracy (média, arredondada para 4). Um empty gold set não deve travar -- retorne zeros.
regression_gate(old, new) é a proteção de CI que você conectaria em um pull request: retorne True apenas se a nova execução não piorou na métrica de barreira (answer_accuracy por padrão) -- igual ou melhor está ok, uma queda retorna False. Isso é o que, na vida real, impede que um ajuste de prompt destrua a qualidade silenciosamente. Pressione Run para pontuar um bot perfeito e um quebrado e veja a barreira parar a regressão.
Construa o suporte de avaliação sobre um conjunto gold rotulado. precision_at_k(retrieved, relevant, k) para recuperação e answer_accuracy(predicted, expected, mode) (contains / exact) para respostas. evaluate(config) executa o conjunto gold (com as funções retriever e answerer, k, mode) e retorna um dicionário de métricas de médias (n, precision_at_k, answer_accuracy), seguro para vazios. regression_gate(old, new) retorna True apenas se a acurácia da resposta não caiu.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.