Programma Lezione 246 di 250 · Lavorare con le risposte del modello
Lavorare con le risposte del modello

JSON che il modello ha avvolto nella prosa

Perché è importante Chiedi del JSON a un modello senza output strutturati e otterrai JSON la maggior parte delle volte, ma spesso con una frase amichevole intorno, un blocco di codice recintato, o niente di utilizzabile. Il codice che chiama json.loads sul testo grezzo si rompe dal primo giorno.

Cinque risposte a "dammi questi campi in JSON", ognuna uno schema che producono i modelli veri:

  • JSON pulito;
  • JSON dentro un recinto ```json con frasi prima e dopo;
  • JSON in mezzo a una frase;
  • una lista troncata al limite di token (stop_reason è "max_tokens"), quindi il JSON è rotto;
  • nessun JSON: il modello ha spiegato perché non poteva farlo.

Il lettore robusto: prima controlla stop_reason (una risposta troncata non è affidabile anche se per caso si riesce a leggere), poi prendi il testo, ritaglia il tratto dalla prima { o [ fino all'ultima } o ] corrispondente, e leggi quello. Tutto ciò che fallisce comunque è un errore da segnalare, mai qualcosa da indovinare. (In produzione, gli output strutturati costringono il modello a un JSON valido e tolgono gran parte di questo; stop_reason lo controlli comunque.)

Su queste risposte: sono simulate. Ognuna è stata scritta per questo corso esattamente nella forma che restituisce l'API Messages di Claude (blocchi di contenuto, stop_reason, usage), e ognuna copia qualcosa che fanno i modelli veri. Non sono registrazioni di un modello dal vivo, quindi le parole esatte sono nostre; le forme e i problemi sono quelli veri che il tuo codice incontrerà.

Tocca a te

Scrivi parse_json_reply(reply). Solleva ValueError se stop_reason è "max_tokens". Altrimenti unisci i blocchi di testo, ritaglia dalla prima { o [ (quella che viene prima) all'ultima } o ] corrispondente, e restituisci json.loads di quel ritaglio. Solleva ValueError quando non c'è JSON o non si riesce a leggere. Lascia REPLIES del codice di partenza così com'è: la verifica lo legge.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.