Programma Lezione 158 di 250 · Costruisci una pipeline RAG
Costruisci una pipeline RAG

Assemblare il prompt ancorato

Il recupero ha trovato i pezzi giusti; ora devi dire al modello di usare quelli e nient'altro. Questo è il passo di assemblaggio del prompt, ed è dove l'ancoraggio viene imposto. Un prompt ancorato fa tre lavori: presenta chiaramente il contesto recuperato, istruisce il modello a rispondere solo da quel contesto, e gli dà una via d'uscita così può ammettere di non sapere invece di inventare una risposta.

Numerare i pezzi conta per due motivi: li separa visivamente così il modello non mescola due passaggi, e gli permette di citare "[2]" se poi chiedi le citazioni. La riga della via d'uscita è l'altra metà della protezione con rifiuto dell'ultima lezione: anche quando il recupero è discreto, la risposta specifica potrebbe non essere nel testo, e un modello a cui si dice esattamente che cosa dire quando non sa ha molte meno probabilità di allucinare.

System: Answer the question using only the context below.
If the answer is not in the context, reply exactly: I don't know.

Context:
[1] Refunds are issued within five business days...
[2] Shipping takes 5 to 7 business days...

Question: how long do refunds take?
Assistant:

Quella riga Assistant: in fondo è il turno aperto: è dove il modello comincia a scrivere. (Nel tuo browser il WebLLM sul dispositivo prenderebbe esattamente questa stringa e produrrebbe la risposta. Vieni valutato solo sulla stringa che assembli, mai sulla risposta del modello, che è la parte deterministica che progetti davvero.)

Che cosa costruire. Scrivi build_rag_prompt(query, contexts) dove contexts è una lista di stringhe di pezzi. Il prompt restituito deve:

  • Contenere ogni pezzo di contesto, numerato a partire da 1 come [1] ..., [2] ... in ordine.
  • Contenere l'istruzione esatta di rispondere usando solo il contesto.
  • Contenere esattamente la via d'uscita I don't know. (la risposta indicata al modello quando la risposta manca).
  • Contenere il testo della query.
  • Finire su un turno di risposta aperto (l'ultima riga non vuota è il marcatore Assistant:).

Premi Run per assemblare un prompt da due pezzi recuperati e rileggerlo.

Tocca a te

Scrivi build_rag_prompt(query, contexts) che restituisce una stringa di prompt ancorato. Deve numerare ogni pezzo di contesto come [1] ..., [2] ... in ordine, includere un'istruzione di rispondere usando solo il contesto, includere esattamente la via d'uscita I don't know., includere la query, e finire su un turno Assistant: aperto.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.