Temario Lección 215 de 250 · Proyecto: copiloto de atención al cliente
Proyecto: copiloto de atención al cliente

Rechazo fuera de alcance, citas y datos personales

Tu asistente sabe recuperar y fundamentar. Pero un bot de soporte real delante de clientes necesita barreras, y esta es la lección que convierte una demo en algo que de verdad desplegarías. Son tres, y quien te contrate buscará las tres:

  • Rechazar las preguntas fuera de alcance. Si nada en la base de conocimiento se acerca lo bastante a la pregunta, no improvises: devuelve el marcador de rechazo. Es el comportamiento de seguridad más importante de RAG.
  • Citar las fuentes. Cuando sí respondas, di qué ids de artículo respaldan la respuesta, para que una persona pueda comprobarla.
  • Eliminar los datos personales. Si alguna vez repites el texto del usuario (en un registro, un ticket, un prompt), quita antes los correos y los números de teléfono.

Vuelve a construir un recuperador (reutiliza tu TF-IDF de la lección 1) y añade la capa de barreras:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) puntúa la consulta contra la base de conocimiento. Si la similitud más alta está por debajo de un umbral, la pregunta está fuera de alcance: devuelve el marcador exacto I do not know. Si no, devuelve una cadena de respuesta no vacía que cite los ids de las fuentes que usó. El evaluador comprueba dos cosas de una respuesta real: que no es el marcador y que nombra el id de artículo correcto (por ejemplo, la cita de una pregunta sobre la contraseña incluye 0). Una forma limpia de dar la cita es un (sources: [0]) al final, pero vale cualquier forma que contenga el id. (Este proyecto final lo escribe como "I do not know.", mientras que el módulo de RAG usaba "I don't know.". Las palabras exactas no importan; lo que importa es que tu prompt y tu código coincidan en una cadena fija, carácter a carácter.)

Cómo fijar el umbral: quitando las palabras vacías, una pregunta totalmente fuera de tema ("what is the capital of France?") no comparte ninguna palabra con contenido con ningún artículo, así que su similitud coseno más alta es 0.0. Una pregunta dentro del tema puntúa bastante por encima de cero. Un umbral positivo pequeño como 0.05 las separa con limpieza.

redact_pii(text) sustituye cualquier correo por [EMAIL] y cualquier número de teléfono por [PHONE], dejando todo lo demás intacto. Dos regex lo hacen. Un correo es más o menos name@host.tld; un número de teléfono es una serie de 7 o más dígitos, quizá con + - ( ) space entre medias. El texto inofensivo, incluido un número corto como "30 days", debe volver sin cambios. Pulsa Ejecutar para ver una respuesta dentro del tema con su cita, un rechazo fuera de tema y los datos personales enmascarados.

Tu turno

Reutiliza tu recuperador TF-IDF y añade barreras. answer_or_refuse(query, index) devuelve el marcador exacto I do not know. cuando la similitud más alta está por debajo de un umbral pequeño; si no, devuelve una respuesta no vacía que cita los ids de los documentos fuente que usó. redact_pii(text) enmascara los correos como [EMAIL] y los números de teléfono como [PHONE], dejando sin cambios el texto inofensivo (incluidos números cortos como "30 days").

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.