Recusa Fora de Escopo, Citações e PII
Seu assistente pode recuperar e fundamentar. Mas um bot de suporte real na frente de clientes precisa de guardrails, e esta é a lição que transforma uma demo em algo que você realmente implantaria. Três deles, e um gerente de contratação vai procurar pelos três:
- Recuse perguntas fora de escopo. Se nada na base de conhecimento estiver perto o suficiente da pergunta, não improvise -- retorne o sentinela de recusa. Este é o comportamento de segurança mais importante em RAG.
- Cite as fontes. Quando você responder, diga quais IDs de artigos embasaram a resposta, para que um humano possa verificar.
- Redija PII. Se você algum dia ecoar o texto do usuário (em um log, um ticket, um prompt), remova e-mails e números de telefone primeiro.
Construa um retriever novamente (reutilize seu TF-IDF da lição 1) e adicione a camada de guardrail:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) avalia a query contra a base de conhecimento. Se a top similarity estiver abaixo de um limite, a pergunta está fora de escopo -- retorne o sentinela exato I do not know.. Caso contrário, retorne uma string de resposta não vazia que cites the source ids que ela usou. O avaliador verifica duas coisas sobre uma resposta real: ela não é o sentinela e ela nomeia o id do artigo correto (por exemplo, a citação para uma pergunta de senha inclui 0). Uma forma limpa de formatar uma citação é um (sources: [0]) no final, mas qualquer forma que contenha o id funciona. (Este capstone escreve isso como "I do not know.", onde o módulo RAG usou "I don't know.". As palavras exatas não importam; o que importa é que seu prompt e seu código concordem em uma string fixa, caractere por caractere.)
Como definir o limite: com as stopwords removidas, uma pergunta realmente fora do tópico ("qual é a capital da França?") não compartilha palavras de conteúdo com nenhum artigo, então sua maior similaridade de cosseno é 0.0. Uma pergunta dentro do tópico pontua bem acima de zero. Um pequeno limite positivo como 0.05 os separa claramente.
redact_pii(text) substitui qualquer e-mail por [EMAIL] e qualquer número de telefone por [PHONE], deixando todo o resto intacto. Dois regexes fazem isso. Um e-mail é aproximadamente name@host.tld; um número de telefone é uma sequência de 7 ou mais dígitos possivelmente com + - ( ) space entre eles. Texto benigno -- incluindo um número curto como "30 days" -- deve retornar inalterado. Pressione Run para ver uma resposta no tópico com uma citação, uma recusa fora do tópico e PII mascarada.
Reutilize seu retriever TF-IDF e depois adicione guardrails. answer_or_refuse(query, index) retorna o sentinel exato I do not know. quando a similaridade do topo está abaixo de um pequeno threshold; caso contrário, ele retorna uma resposta não vazia que cita o(s) doc id(s) de origem que ele usou. redact_pii(text) mascara e-mails como [EMAIL] e números de telefone como [PHONE] enquanto deixa o texto benigno (incluindo números curtos como "30 days") inalterado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.