Delimitatori, ancoraggio e contro le allucinazioni
Il modo più efficace in assoluto per impedire a un modello di inventare cose è l'ancoraggio (grounding): dagli il materiale di partenza, recintalo con delimitatori chiari, e istruiscilo a rispondere solo partendo da quel materiale, con una via d'uscita esplicita quando la risposta non c'è. È il nucleo di ogni sistema con recupero (RAG), ed è tutta costruzione del prompt.
Costruisci grounded_prompt(question, context_chunks) che assembla:
- Una sezione
CONTEXT:con ogni pezzo numerato e recintato, come[1] ...,[2] .... - La domanda dopo il contesto.
- Un'istruzione esatta di rispondere solo dal contesto, che finisce con la via d'uscita: se la risposta non è nel contesto, rispondi esattamente
I don't know. - Un turno di risposta aperto in fondo così il modello sa che deve rispondere.
Poi costruisci il controllore. check_grounded(answer, context_chunks) restituisce True quando la risposta è ancorata: o è esattamente la sentinella I don't know., OPPURE ogni parola significativa della risposta compare nel contesto unito. Restituisce False quando la risposta contiene parole inventate che il contesto non ha mai citato.
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)Ignora le piccole parole vuote (the, is, a, of...) quando controlli le parole significative, così le frasi normali non vengono punite, ma una parola di contenuto come Berlin che non compare mai nel contesto fa fallire correttamente il controllo. Premi Run per la correzione.
Sii onesto su che cosa becca: il controllo di appartenenza segnala i token inventati (parole che il contesto non ha mai citato), ma non può beccare un'affermazione falsa ricombinata da parole vere del contesto. "Refunds take France business days" qui passerebbe anche se non ha senso, perché ogni parola è nel contesto. Un vero controllo di fedeltà ha bisogno di un LLM giudice o di un modello NLI (di implicazione) che ragioni sul significato, non solo sull'appartenenza delle parole.
Scrivi grounded_prompt(question, context_chunks) che numera e recinta i pezzi sotto CONTEXT:, aggiunge la domanda, pretende una risposta solo dal contesto con la via d'uscita esatta I don't know., e finisce su un turno di risposta aperto. Impaginazione esatta, righe unite con "\n": CONTEXT:, poi una riga per pezzo scritta come [1] chunk text, [2] ..., una riga vuota, Question: ..., la riga dell'istruzione (deve contenere I don't know.), e infine il turno di risposta aperto [assistant]. Scrivi check_grounded(answer, context_chunks) che restituisce True per la sentinella OPPURE quando ogni parola significativa (non vuota) della risposta è nel contesto unito, altrimenti False.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.