Lehrplan Lektion 188 von 250 · Produktionsmuster: Retries, Async, Streaming & Memory
Produktionsmuster: Retries, Async, Streaming & Memory

Streaming Token-Akkumulation

Moderne Modelle stream ihre Antwort: anstatt einer großen Antwort gibt dir die Runtime eine Sequenz kleiner token chunks, während sie generiert werden. Deshalb zeigen Chat-Benutzeroberflächen Text, der Wort für Wort erscheint. Dein Job auf der Empfängerseite ist es, accumulate diese Chunks zur vollständigen Antwort zusammenzufügen, etwas mit jedem zu tun, wenn er ankommt (die UI aktualisieren, Tokens zählen, auf einen Stopp achten) und zu wissen, wann du aufhören musst.

Zwei Dinge machen Streaming zu mehr als einem einfachen join. Erstens übergibst du normalerweise einen callback, der pro chunk feuert -> so funktioniert der Live-Tippeffekt. Zweitens hast du oft eine stop sequence: ein Marker, der bedeutet "die echte Antwort endet hier, den Rest abwerfen". Wenn du ihn siehst, stoppst du sofort und du nicht den Stop-Text in der Ausgabe einschließen.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

A echte Engine liefert diese Chunks aus einem Netzwerkstream; eine On-Device WebLLM Engine liefert sie aus engine.chat.completions.create({ stream: true }). Hier sind die Chunks nur eine Liste, die du erhältst, also ist die Logik deterministisch und du kannst die exakte Akkumulation bewerten. Die Akkumulation, der Callback pro Chunk und die Stop-Behandlung sind identisch mit dem, was ausgeliefert wird.

Baue consume_stream(chunks, on_token, stop=None).. Gehe die Chunks durch, füge jeden an einen laufenden String an und rufe on_token(chunk) dafür auf. Wenn stop gegeben ist und ein Chunk ihm entspricht, stoppe vor dem Anhängen (der Stopptext wird ausgeschlossen) und merke dir, dass du gestoppt hast. Gib {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} zurück. Ohne eine Stoppsequenz wird jeder Chunk verbraucht.

Du bist dran

Schreibe consume_stream(chunks, on_token, stop=None), das gestreamte Token-Chunks in den vollständigen Text ansammelt, on_token(chunk) pro verbrauchtem Chunk aufruft, bei einer Stop-Sequenz anhält falls vorhanden (ohne den Stop-Text selbst) und {"text", "n_tokens", "stopped"} zurückgibt. Der angesammelte Text entspricht "".join der Chunks bis zum Stop; der Stop wird ausgeschlossen; n_tokens zählt die verbrauchten Chunks; ohne Stop werden alle Chunks verbraucht.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.