Kurrikulum Leson 188 van 250 · Produksiepatrone: Retries, Async, Streaming & Memory
Produksiepatrone: Retries, Async, Streaming & Memory

Stroomtoken-akkumulasie

Moderne modelle stream hul antwoord: in plaas van een groot reaksie gee die runtime vir jou 'n reeks klein token chunks soos hulle gegenereer word. Dit is waarom chat UIs teks woord vir woord wys. Jou werk aan die ontvangende kant is om daardie accumulate chunks in die volledige antwoord te verwerk, iets met elk een te doen wanneer dit aankom (update die UI, tel tokens, kyk vir 'n stop) en te weet wanneer om op te hou.

Twee dinge maak streaming meer as 'n eenvoudige join. Eerstens stuur jy gewoonlik 'n callback wat per chunk afvuur -> dit is hoe die live-tiptipe-effek werk. Tweedens het jy dikwels 'n stop-reeks: 'n merker wat beteken "die regte antwoord eindig hier, gooi die res weg". Wanneer jy dit sien, stop jy onmiddellik en jy doen nie die stop-teks in die output insluit nie.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

'n regte enjin lewer hierdie blokke vanaf 'n netwerkstroom; 'n on-device WebLLM-enjin lewer hulle vanaf engine.chat.completions.create({ stream: true }). Hier is die blokke net 'n lys wat jy kry, so die logika is deterministies en jy kan die presiese opbou gradeer. Die opbou, die per-blok callback, en die stop-hantering is identies aan wat in

verskik.

Bou consume_stream(chunks, on_token, stop=None). Loop deur die chunks, voeg elk een by 'n lopende string en roep on_token(chunk) vir dit aan. As stop gegee word en 'n chunk gelyk daaraan, stop voor jy dit byvoeg (die stopteks word uitgesluit) en onthou dat jy gestop het. Gee {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} terug. Sonder 'n stopreeks word elke chunk verbruik.

Jou beurt

Skryf consume_stream(chunks, on_token, stop=None) wat gestroomde tokenstukke in die volledige teks optel, on_token(chunk) per verbruikte stuk aanroep, by 'n stopreeks stop as daar een is (uitsluitend die stopteks self), en {"text", "n_tokens", "stopped"} teruggee. Die opgetelde teks is gelyk aan "".join van die stukke tot by die stop; die stop word uitgesluit; n_tokens tel verbruikte stukke; sonder 'n stop word alle stukke verbruik.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.