Proteção de recusa fora do escopo
Um sistema RAG que sempre responde é perigoso. Pergunte ao seu bot de suporte "como está o tempo em Tóquio?" e, se ele responder mesmo assim, ele não está mais fundamentado nos seus documentos, está chutando. A correção é uma proteção de recusa: antes de montar o prompt, veja o quão bem os chunks recuperados realmente combinam com a pergunta. Se o melhor resultado for fraco, os documentos provavelmente não cobrem a pergunta, então o movimento certo é recusar e encaminhar em vez de alucinar.
O sinal que você já tem é a maior similaridade da recuperação. Escolha um limite. Se o chunk recuperado com a maior pontuação ficar abaixo dele, recuse. É uma verificação única e barata que fica entre a recuperação e a geração, e é uma das peças mais valiosas de um sistema RAG em produção: é a diferença entre "eu não sei" e uma resposta errada cheia de confiança.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7O que construir. Escreva should_refuse(query, contexts, threshold), em que contexts é uma lista de dicts, cada um com um "score" numérico (a similaridade da recuperação). Retorne:
Truequandocontextsestiver vazio (nada recuperado -> nada em que se fundamentar).Truequando a maior pontuação entre os contextos for estritamente menor quethreshold.Falsenos demais casos (pelo menos um chunk passa da barra).
A fronteira é proposital: uma pontuação exatamente igual ao limite é boa o bastante para responder (use estritamente menor que para a recusa). Repare que query é passado porque um sistema real pode recusar também com base em outros sinais, mas aqui a decisão depende das pontuações. Clique em Run para ver perguntas dentro e fora do domínio receberem veredictos diferentes.
Escreva should_refuse(query, contexts, threshold), que retorna True quando contexts estiver vazio ou quando o "score" máximo entre os dicts de contexto for estritamente menor que threshold, e False nos demais casos. Uma pontuação exatamente igual ao limite NÃO deve recusar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.