Stroomtoken-akkumulasie
Moderne modelle stream hul antwoord: in plaas van een groot reaksie gee die runtime vir jou 'n reeks klein token chunks soos hulle gegenereer word. Dit is waarom chat UIs teks woord vir woord wys. Jou werk aan die ontvangende kant is om daardie accumulate chunks in die volledige antwoord te verwerk, iets met elk een te doen wanneer dit aankom (update die UI, tel tokens, kyk vir 'n stop) en te weet wanneer om op te hou.
Twee dinge maak streaming meer as 'n eenvoudige join. Eerstens stuur jy gewoonlik 'n callback wat per chunk afvuur -> dit is hoe die live-tiptipe-effek werk. Tweedens het jy dikwels 'n stop-reeks: 'n merker wat beteken "die regte antwoord eindig hier, gooi die res weg". Wanneer jy dit sien, stop jy onmiddellik en jy doen nie die stop-teks in die output insluit nie.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callback 'n regte enjin lewer hierdie blokke vanaf 'n netwerkstroom; 'n on-device WebLLM-enjin lewer hulle vanaf engine.chat.completions.create({ stream: true }). Hier is die blokke net 'n lys wat jy kry, so die logika is deterministies en jy kan die presiese opbou gradeer. Die opbou, die per-blok callback, en die stop-hantering is identies aan wat in
Bou consume_stream(chunks, on_token, stop=None). Loop deur die chunks, voeg elk een by 'n lopende string en roep on_token(chunk) vir dit aan. As stop gegee word en 'n chunk gelyk daaraan, stop voor jy dit byvoeg (die stopteks word uitgesluit) en onthou dat jy gestop het. Gee {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} terug. Sonder 'n stopreeks word elke chunk verbruik.
Skryf consume_stream(chunks, on_token, stop=None) wat gestroomde tokenstukke in die volledige teks optel, on_token(chunk) per verbruikte stuk aanroep, by 'n stopreeks stop as daar een is (uitsluitend die stopteks self), en {"text", "n_tokens", "stopped"} teruggee. Die opgetelde teks is gelyk aan "".join van die stukke tot by die stop; die stop word uitgesluit; n_tokens tel verbruikte stukke; sonder 'n stop word alle stukke verbruik.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.