Programma Lezione 247 di 250 · Lavorare con le risposte del modello
Lavorare con le risposte del modello

Troncata, rifiutata o fuori ambito

Perché è importante Un bot di assistenza che mostra all'utente mezza frase, o un fumetto vuoto, sembra rotto. Prima di mostrare una risposta, decidi che tipo di risposta è.

L'app qui è un assistente di una banca il cui prompt di sistema dice: rispondi solo alle domande su conti e carte, e per qualsiasi altra cosa rispondi esattamente OUT_OF_SCOPE. Cinque risposte:

  • una risposta normale;
  • OUT_OF_SCOPE esattamente come richiesto;
  • lo stesso segnale scritto in modo approssimativo (Out_of_scope. con un a capo): i modelli seguono "rispondi esattamente" quasi sempre, quindi riconoscilo con un po' di tolleranza (ignora maiuscole, spazi e un punto finale);
  • una risposta troncata al limite di token;
  • un rifiuto: stop_reason è "refusal", il contenuto è vuoto, e un dict stop_details può dire perché.

Ogni tipo ha bisogno di una schermata diversa: mostra la risposta, mostra "posso aiutarti solo con la banca", chiedi al modello di continuare o riprova con un limite più alto, oppure mostra un rifiuto gentile.

Su queste risposte: sono simulate. Ognuna è stata scritta per questo corso esattamente nella forma che restituisce l'API Messages di Claude (blocchi di contenuto, stop_reason, usage), e ognuna copia qualcosa che fanno i modelli veri. Non sono registrazioni di un modello dal vivo, quindi le parole esatte sono nostre; le forme e i problemi sono quelli veri che il tuo codice incontrerà.

Tocca a te

Scrivi classify_reply(reply) che restituisce uno tra "refused" (stop_reason è "refusal"), "cut_off" (stop_reason è "max_tokens"), "out_of_scope" (il testo, tolti gli spazi intorno e un . finale, è uguale a OUT_OF_SCOPE ignorando le maiuscole), "empty" (nessun testo) o "answer". Controllali in quest'ordine. Lascia REPLIES del codice di partenza così com'è: la verifica lo legge.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.