Programma Les 119 van 250 · Een echt LLM aanroepen
Een echt LLM aanroepen

Vouw een Token Stream

Wanneer je een reactie streamt, stuurt het model het antwoord als een reeks kleine events in plaats van één grote payload, zodat je tekst kunt tonen terwijl deze wordt getypt. De SDK geeft je een schone iterator van tekstchunks, maar daaronder vouwt het een stream van getypte events op: een message_start, dan veel content_block_delta events die elk een kleine text_delta dragen, met content_block_stop en message_stop markers eromheen. Om het volledige antwoord te herbouwen houd je alleen de tekstdeltas en voeg je deze samen.

De vriendelijke echte versie ziet er zo uit (alleen illustratief -> we bellen het netwerk niet):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

Dat text_stream is een gemak. Daaronder zien de ruwe events eruit als de lijst hieronder, en het vouwen ervan is precies de vaardigheid die deze les traint. We modelleren de stream als een lijst van event dicts zodat het offline draait:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

Je bouwt collect_stream(events). Loop door de lijst en voeg de text van elk event samen, in volgorde, dat een content_block_delta is waarvan de innerlijke delta type == "text_delta" heeft. Sla elk tweede event over -> de lifecycle markers (message_start, content_block_stop, message_stop) bevatten geen tekst, en een niet-tekst delta (zoals een input_json_delta voor een gestreamde tool call) is geen deel van het zichtbare antwoord. Een lege lijst geeft "" terug.

Bouw het zo dat twee verschillende event lijsten twee verschillende strings herbouwen, de lifecycle en non-text events worden overgeslagen, en een lege stream geeft "" terug.

Jij bent aan de beurt

Schrijf collect_stream(events) waar events een lijst van streaming event dicts is. Voeg de text van elk {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}} event achter elkaar samen in de juiste volgorde. Sla alle andere events over (lifecycle markers zoals message_start/content_block_stop en niet-tekst deltas). Geef "" terug voor een lege stream.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.