Programma Lezione 215 di 250 · Progetto: copilota per l'assistenza clienti
Progetto: copilota per l'assistenza clienti

Rifiuto fuori ambito, citazioni e dati personali

Il tuo assistente sa recuperare e ancorarsi. Ma un vero bot di assistenza davanti ai clienti ha bisogno di protezioni, ed è questa la lezione che trasforma una demo in qualcosa che rilasceresti davvero. Sono tre, e un responsabile delle assunzioni le cercherà tutte e tre:

  • Rifiuta le domande fuori ambito. Se niente nella base di conoscenza è abbastanza vicino alla domanda, non improvvisare: restituisci la sentinella di rifiuto. È il comportamento di sicurezza più importante in assoluto nel RAG.
  • Cita le fonti. Quando rispondi, di' quali id di articolo hanno sostenuto la risposta, così una persona può verificarla.
  • Oscura i dati personali. Se mai ripeti il testo dell'utente (in un log, in un ticket, in un prompt), togli prima email e numeri di telefono.

Costruisci di nuovo un recuperatore (riusa il tuo TF-IDF della lezione 1) e aggiungi lo strato di protezioni:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) dà un punteggio alla query rispetto alla base di conoscenza. Se la similarità più alta è sotto una soglia, la domanda è fuori ambito: restituisci esattamente la sentinella I do not know. Altrimenti, restituisci una stringa di risposta non vuota che cita gli id delle fonti che ha usato. Il correttore controlla due cose di una risposta vera: non è la sentinella, e nomina l'id di articolo giusto (per esempio la citazione per una domanda sulla password include 0). Un modo pulito di formattare una citazione è un (sources: [0]) finale, ma va bene qualsiasi forma che contenga l'id. (Questo progetto finale la scrive come "I do not know.", mentre il modulo sul RAG usava "I don't know.". Le parole esatte non contano; ciò che conta è che il tuo prompt e il tuo codice siano d'accordo su un'unica stringa fissa, carattere per carattere.)

Come fissare la soglia: tolte le parole vuote, una domanda davvero fuori tema ("what is the capital of France?") non condivide nessuna parola di contenuto con nessun articolo, quindi la sua similarità del coseno più alta è 0.0. Una domanda in tema ottiene ben più di zero. Una piccola soglia positiva come 0.05 le separa in modo netto.

redact_pii(text) sostituisce ogni email con [EMAIL] e ogni numero di telefono con [PHONE], lasciando intatto tutto il resto. Bastano due regex. Un'email è più o meno name@host.tld; un numero di telefono è una sequenza di 7 o più cifre magari con + - ( ) space in mezzo. Un testo innocuo, compreso un numero corto come "30 days", deve tornare invariato. Premi Run per vedere una risposta in tema con una citazione, un rifiuto fuori tema, e dati personali oscurati.

Tocca a te

Riusa il tuo recuperatore TF-IDF, poi aggiungi le protezioni. answer_or_refuse(query, index) restituisce esattamente la sentinella I do not know. quando la similarità più alta è sotto una piccola soglia; altrimenti restituisce una risposta non vuota che cita l'id o gli id dei documenti fonte che ha usato. redact_pii(text) oscura le email come [EMAIL] e i numeri di telefono come [PHONE] lasciando invariato il testo innocuo (compresi numeri corti come "30 days").

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.