Conteúdo do curso Lição 215 de 250 · Projeto: Copiloto de Suporte ao Cliente
Projeto: Copiloto de Suporte ao Cliente

Recusa Fora de Escopo, Citações e PII

Seu assistente pode recuperar e fundamentar. Mas um bot de suporte real na frente de clientes precisa de guardrails, e esta é a lição que transforma uma demo em algo que você realmente implantaria. Três deles, e um gerente de contratação vai procurar pelos três:

  • Recuse perguntas fora de escopo. Se nada na base de conhecimento estiver perto o suficiente da pergunta, não improvise -- retorne o sentinela de recusa. Este é o comportamento de segurança mais importante em RAG.
  • Cite as fontes. Quando você responder, diga quais IDs de artigos embasaram a resposta, para que um humano possa verificar.
  • Redija PII. Se você algum dia ecoar o texto do usuário (em um log, um ticket, um prompt), remova e-mails e números de telefone primeiro.

Construa um retriever novamente (reutilize seu TF-IDF da lição 1) e adicione a camada de guardrail:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) avalia a query contra a base de conhecimento. Se a top similarity estiver abaixo de um limite, a pergunta está fora de escopo -- retorne o sentinela exato I do not know.. Caso contrário, retorne uma string de resposta não vazia que cites the source ids que ela usou. O avaliador verifica duas coisas sobre uma resposta real: ela não é o sentinela e ela nomeia o id do artigo correto (por exemplo, a citação para uma pergunta de senha inclui 0). Uma forma limpa de formatar uma citação é um (sources: [0]) no final, mas qualquer forma que contenha o id funciona. (Este capstone escreve isso como "I do not know.", onde o módulo RAG usou "I don't know.". As palavras exatas não importam; o que importa é que seu prompt e seu código concordem em uma string fixa, caractere por caractere.)

Como definir o limite: com as stopwords removidas, uma pergunta realmente fora do tópico ("qual é a capital da França?") não compartilha palavras de conteúdo com nenhum artigo, então sua maior similaridade de cosseno é 0.0. Uma pergunta dentro do tópico pontua bem acima de zero. Um pequeno limite positivo como 0.05 os separa claramente.

redact_pii(text) substitui qualquer e-mail por [EMAIL] e qualquer número de telefone por [PHONE], deixando todo o resto intacto. Dois regexes fazem isso. Um e-mail é aproximadamente name@host.tld; um número de telefone é uma sequência de 7 ou mais dígitos possivelmente com + - ( ) space entre eles. Texto benigno -- incluindo um número curto como "30 days" -- deve retornar inalterado. Pressione Run para ver uma resposta no tópico com uma citação, uma recusa fora do tópico e PII mascarada.

Sua vez

Reutilize seu retriever TF-IDF e depois adicione guardrails. answer_or_refuse(query, index) retorna o sentinel exato I do not know. quando a similaridade do topo está abaixo de um pequeno threshold; caso contrário, ele retorna uma resposta não vazia que cita o(s) doc id(s) de origem que ele usou. redact_pii(text) mascara e-mails como [EMAIL] e números de telefone como [PHONE] enquanto deixa o texto benigno (incluindo números curtos como "30 days") inalterado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.