Streaming Token-Akkumulation
Moderne Modelle stream ihre Antwort: anstatt einer großen Antwort gibt dir die Runtime eine Sequenz kleiner token chunks, während sie generiert werden. Deshalb zeigen Chat-Benutzeroberflächen Text, der Wort für Wort erscheint. Dein Job auf der Empfängerseite ist es, accumulate diese Chunks zur vollständigen Antwort zusammenzufügen, etwas mit jedem zu tun, wenn er ankommt (die UI aktualisieren, Tokens zählen, auf einen Stopp achten) und zu wissen, wann du aufhören musst.
Zwei Dinge machen Streaming zu mehr als einem einfachen join. Erstens übergibst du normalerweise einen callback, der pro chunk feuert -> so funktioniert der Live-Tippeffekt. Zweitens hast du oft eine stop sequence: ein Marker, der bedeutet "die echte Antwort endet hier, den Rest abwerfen". Wenn du ihn siehst, stoppst du sofort und du nicht den Stop-Text in der Ausgabe einschließen.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackA echte Engine liefert diese Chunks aus einem Netzwerkstream; eine On-Device WebLLM Engine liefert sie aus engine.chat.completions.create({ stream: true }). Hier sind die Chunks nur eine Liste, die du erhältst, also ist die Logik deterministisch und du kannst die exakte Akkumulation bewerten. Die Akkumulation, der Callback pro Chunk und die Stop-Behandlung sind identisch mit dem, was ausgeliefert wird.
Baue consume_stream(chunks, on_token, stop=None).. Gehe die Chunks durch, füge jeden an einen laufenden String an und rufe on_token(chunk) dafür auf. Wenn stop gegeben ist und ein Chunk ihm entspricht, stoppe vor dem Anhängen (der Stopptext wird ausgeschlossen) und merke dir, dass du gestoppt hast. Gib {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} zurück. Ohne eine Stoppsequenz wird jeder Chunk verbraucht.
Schreibe consume_stream(chunks, on_token, stop=None), das gestreamte Token-Chunks in den vollständigen Text ansammelt, on_token(chunk) pro verbrauchtem Chunk aufruft, bei einer Stop-Sequenz anhält falls vorhanden (ohne den Stop-Text selbst) und {"text", "n_tokens", "stopped"} zurückgibt. Der angesammelte Text entspricht "".join der Chunks bis zum Stop; der Stop wird ausgeschlossen; n_tokens zählt die verbrauchten Chunks; ohne Stop werden alle Chunks verbraucht.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.