Programma Les 188 van 250 · Productiepatronen: Retries, Async, Streaming & Memory
Productiepatronen: Retries, Async, Streaming & Memory

Streaming Token Accumulatie

Moderne modellen stream hun antwoord: in plaats van één grote reactie geeft de runtime je een reeks kleine token chunks terwijl ze worden gegenereerd. Dat is waarom chat UIs tekst laten verschijnen woord voor woord. Jouw taak aan de ontvangende kant is om accumulate die chunks naar het volledige antwoord te voegen, iets doen met elk stuk zodra het aankomt (de UI bijwerken, tokens tellen, letten op een stop) en weten wanneer je moet stoppen.

Twee dingen maken streaming meer dan een simpele join. Ten eerste geef je meestal een callback die vuurt per chunk -> zo werkt het live typ-effect. Ten tweede heb je vaak een stop sequence: een marker die betekent "het echte antwoord eindigt hier, gooi de rest weg". Als je het ziet stop je direct en doe je niet de stop tekst opnemen in de output.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

A echte engine levert deze chunks uit een netwerkstream; een on-device WebLLM engine levert ze uit engine.chat.completions.create({ stream: true }). Hier zijn de chunks gewoon een lijst die je krijgt, dus de logica is deterministisch en je kunt de exacte accumulatie beoordelen. De accumulatie, de callback per chunk en de stop handling zijn identiek aan wat wordt verzonden.

Bouw consume_stream(chunks, on_token, stop=None). Loop door de chunks, voeg elk toe aan een lopende string en roep on_token(chunk) aan voor elk. Als stop wordt gegeven en een chunk is gelijk aan het, stop dan voor het toevoegen (de stoptekst wordt uitgesloten) en onthoud dat je stopte. Geef {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} terug. Zonder stopsequentie wordt elke chunk verbruikt.

Jij bent aan de beurt

Schrijf consume_stream(chunks, on_token, stop=None) dat gestreamde token chunks ophoopt in de volledige tekst, on_token(chunk) aanroept per verbruikte chunk, stopt bij een stopsequentie indien aanwezig (exclusief de stoptekst zelf), en geeft {"text", "n_tokens", "stopped"} terug. De opgehoopte tekst is gelijk aan "".join van de chunks tot de stop; de stop wordt uitgesloten; n_tokens telt de verbruikte chunks; zonder stop worden alle chunks verbruikt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.