Programma Lezione 157 di 250 · Costruisci una pipeline RAG
Costruisci una pipeline RAG

Protezione con rifiuto fuori ambito

Un sistema RAG che risponde sempre è pericoloso. Chiedi al tuo bot di assistenza "che tempo fa a Tokyo?" e, se risponde comunque, non è più ancorato ai tuoi documenti, sta tirando a indovinare. La soluzione è una protezione con rifiuto: prima ancora di costruire il prompt, guarda quanto bene i pezzi recuperati corrispondono davvero alla domanda. Se la corrispondenza migliore è debole, probabilmente i documenti non coprono la domanda, quindi la mossa giusta è rifiutare e passare la mano invece di allucinare.

Il segnale che hai già è la similarità di recupero più alta. Scegli una soglia. Se il pezzo recuperato con il punteggio più alto sta sotto, rifiuta. È un solo controllo economico che sta tra il recupero e la generazione, ed è uno dei pezzi di maggior valore di un sistema RAG di produzione: è la differenza tra "non lo so" e una risposta sicura ma sbagliata.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Che cosa costruire. Scrivi should_refuse(query, contexts, threshold) dove contexts è una lista di dict che portano ciascuno un "score" numerico (la similarità di recupero). Restituisci:

  • True quando contexts è vuoto (niente recuperato -> niente su cui ancorarsi).
  • True quando il punteggio più alto tra i contesti è strettamente sotto threshold.
  • False altrimenti (almeno un pezzo supera l'asticella).

Il confine è voluto: un punteggio esattamente uguale alla soglia è abbastanza buono per rispondere (per il rifiuto usa lo strettamente minore). Nota che query viene passato perché un sistema reale può rifiutare anche per altri segnali, ma qui la decisione si basa sui punteggi. Premi Run per guardare domande dentro e fuori ambito ricevere verdetti diversi.

Tocca a te

Scrivi should_refuse(query, contexts, threshold) che restituisce True quando contexts è vuoto o quando il massimo "score" tra i dict di contesto è strettamente minore di threshold, e False altrimenti. Un punteggio esattamente uguale alla soglia NON dovrebbe portare al rifiuto.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.