Programme Leçon 119 sur 250 · Appeler un vrai LLM
Appeler un vrai LLM

Plier un flux de jetons

Quand tu streames une réponse, le modèle envoie la réponse comme une série de petits événements au lieu d'un gros payload, pour que tu puisses afficher le texte au fur et à mesure qu'il est tapé. Le SDK te donne un itérateur propre de chunks de texte, mais en dessous il replie un flux d'événements tapés : un message_start, puis beaucoup d'événements content_block_delta chacun portant un petit text_delta, avec des marqueurs content_block_stop et message_stop autour d'eux. Pour reconstruire la réponse complète tu gardes seulement les deltas de texte et tu les concatènes.

La version réelle et conviviale ressemble à ceci (illustratif seulement -> nous n'appelons pas le réseau) :

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

Ce text_stream est une commodité. Sous celui-ci, les événements bruts ressemblent à la liste ci-dessous, et les replier est exactement la compétence que cette leçon entraîne. Nous modélisons le flux comme une liste de dicts d'événements pour qu'il s'exécute hors ligne :

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

Tu construis collect_stream(events). Parcours la liste et concatène, dans l'ordre, le text de chaque événement qui est un content_block_delta dont le delta interne a type == "text_delta". Saute un événement sur deux -> les marqueurs de cycle de vie (message_start, content_block_stop, message_stop) ne portent aucun texte, et un delta non textuel (comme un input_json_delta pour un streamed tool call) ne fait pas partie de la réponse visible. Une liste vide retourne "".

Construis-le de sorte que deux listes d'événements différentes reconstruisent deux chaînes différentes, les événements de cycle de vie et non textuels sont ignorés, et un flux vide retourne "".

À ton tour

Écris collect_stream(events) où events est une liste de dicts d'événements de streaming. Concatène, dans l'ordre, le text de chaque événement {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}}. Ignore tous les autres événements (marqueurs de cycle de vie comme message_start/content_block_stop, et deltas non textuels). Retourne "" pour un flux vide.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.