Lehrplan Lektion 119 von 250 · Ein echtes LLM aufrufen
Ein echtes LLM aufrufen

Einen Token-Stream falten

Wenn du eine Antwort streamst, sendet das Modell die Antwort als eine Reihe kleiner Ereignisse anstatt als eine große Payload, damit du den Text während des Tippens anzeigen kannst. Das SDK gibt dir einen sauberen Iterator von Textchunks, aber darunter faltet es einen Stream von getippten Ereignissen: ein message_start, dann viele content_block_delta Ereignisse, die jeweils ein winziges text_delta tragen, mit content_block_stop und message_stop Markierungen um sie herum. Um die vollständige Antwort zu rekonstruieren, behältst du nur die Textdeltas und verknüpfst sie.

Die freundliche echte Version sieht so aus (nur illustrativ -> wir rufen das Netzwerk nicht auf):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

Das text_stream ist eine Erleichterung. Darunter sehen die Rohereignisse wie die Liste unten aus, und sie zu falten ist genau die Fähigkeit, die diese Lektion trainiert. Wir modellieren den Stream als eine Liste von Event-Dicts, damit er offline läuft:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

Du baust collect_stream(events). Gehe die list durch und verknüpfe die text von jedem event, das ein content_block_delta ist, dessen inneres delta type == "text_delta" hat, in der richtigen Reihenfolge. Überspringe jedes zweite event -> die lifecycle marker (message_start, content_block_stop, message_stop) enthalten keinen Text, und ein Nicht-Text-Delta (wie ein input_json_delta für einen gestreamten tool call) ist nicht Teil der sichtbaren Antwort. Eine leere list gibt "" zurück.

Baue es so, dass zwei verschiedene event lists zwei verschiedene strings neu aufbauen, die lifecycle und non-text events übersprungen werden, und ein leerer stream "" zurückgibt.

Du bist dran

Schreibe collect_stream(events), wobei events eine Liste von Streaming-Event-Dicts ist. Verknüpfe die text jedes {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}}-Events in der richtigen Reihenfolge. Überspringe alle anderen Ereignisse (Lifecycle-Marker wie message_start/content_block_stop und Nicht-Text-Deltas). Gib "" für einen leeren Stream zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.