Programma Lezione 119 di 250 · Chiamare un vero LLM
Chiamare un vero LLM

Ricomporre uno stream di token

Quando fai lo streaming di una risposta, il modello manda la risposta come una serie di piccoli eventi invece che come un unico grosso payload, così puoi mostrare il testo mentre viene scritto. L'SDK ti dà un comodo iteratore di pezzi di testo, ma sotto sta ricomponendo uno stream di eventi tipizzati: un message_start, poi tanti eventi content_block_delta che portano ciascuno un minuscolo text_delta, con i marcatori content_block_stop e message_stop intorno. Per ricostruire la risposta completa tieni solo i delta di testo e li concateni.

La versione vera e comoda ha questo aspetto (solo illustrativo -> non chiamiamo la rete):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

Quel text_stream è una comodità. Sotto, gli eventi grezzi hanno l'aspetto della lista qui sotto, e ricomporli è esattamente l'abilità su cui si allena questa lezione. Rappresentiamo lo stream come una lista di dict di eventi così gira offline:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

Stai costruendo collect_stream(events). Percorri la lista e concatena, in ordine, il text di ogni evento che è un content_block_delta il cui delta interno ha type == "text_delta". Salta ogni altro evento -> i marcatori del ciclo di vita (message_start, content_block_stop, message_stop) non portano testo, e un delta non di testo (come un input_json_delta per una chiamata a strumento in streaming) non fa parte della risposta visibile. Una lista vuota restituisce "".

Costruiscilo in modo che due liste di eventi diverse ricostruiscano due stringhe diverse, che gli eventi del ciclo di vita e quelli non di testo vengano saltati, e che uno stream vuoto restituisca "".

Tocca a te

Scrivi collect_stream(events) dove events è una lista di dict di eventi di streaming. Concatena, in ordine, il text di ogni evento {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}}. Salta tutti gli altri eventi (marcatori del ciclo di vita come message_start/content_block_stop, e delta non di testo). Restituisci "" per uno stream vuoto.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.