Conteúdo do curso Lição 157 de 250 · Construa um pipeline de RAG
Construa um pipeline de RAG

Proteção de recusa fora do escopo

Um sistema RAG que sempre responde é perigoso. Pergunte ao seu bot de suporte "como está o tempo em Tóquio?" e, se ele responder mesmo assim, ele não está mais fundamentado nos seus documentos, está chutando. A correção é uma proteção de recusa: antes de montar o prompt, veja o quão bem os chunks recuperados realmente combinam com a pergunta. Se o melhor resultado for fraco, os documentos provavelmente não cobrem a pergunta, então o movimento certo é recusar e encaminhar em vez de alucinar.

O sinal que você já tem é a maior similaridade da recuperação. Escolha um limite. Se o chunk recuperado com a maior pontuação ficar abaixo dele, recuse. É uma verificação única e barata que fica entre a recuperação e a geração, e é uma das peças mais valiosas de um sistema RAG em produção: é a diferença entre "eu não sei" e uma resposta errada cheia de confiança.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

O que construir. Escreva should_refuse(query, contexts, threshold), em que contexts é uma lista de dicts, cada um com um "score" numérico (a similaridade da recuperação). Retorne:

  • True quando contexts estiver vazio (nada recuperado -> nada em que se fundamentar).
  • True quando a maior pontuação entre os contextos for estritamente menor que threshold.
  • False nos demais casos (pelo menos um chunk passa da barra).

A fronteira é proposital: uma pontuação exatamente igual ao limite é boa o bastante para responder (use estritamente menor que para a recusa). Repare que query é passado porque um sistema real pode recusar também com base em outros sinais, mas aqui a decisão depende das pontuações. Clique em Run para ver perguntas dentro e fora do domínio receberem veredictos diferentes.

Sua vez

Escreva should_refuse(query, contexts, threshold), que retorna True quando contexts estiver vazio ou quando o "score" máximo entre os dicts de contexto for estritamente menor que threshold, e False nos demais casos. Uma pontuação exatamente igual ao limite NÃO deve recusar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.