Accumulare i token in streaming
I modelli moderni mandano la risposta in streaming: invece di un'unica grande risposta, l'ambiente ti consegna una sequenza di piccoli pezzi di token man mano che vengono generati. È per questo che le interfacce di chat mostrano il testo che compare parola per parola. Il tuo lavoro dalla parte di chi riceve è accumulare quei pezzi nella risposta completa, fare qualcosa con ciascuno appena arriva (aggiornare l'interfaccia, contare i token, controllare un arresto), e sapere quando smettere.
Due cose rendono lo streaming più di una semplice unione. Primo, di solito passi una funzione di richiamo che scatta per ogni pezzo -> è così che funziona l'effetto di scrittura dal vivo. Secondo, spesso hai una sequenza di arresto: un marcatore che significa "la vera risposta finisce qui, butta via il resto". Quando lo vedi ti fermi subito e non includi il testo di arresto nell'uscita.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackUn motore vero produce questi pezzi da uno stream di rete; un motore WebLLM sul dispositivo li produce da engine.chat.completions.create({ stream: true }). Qui i pezzi sono solo una lista che ti viene data, quindi la logica è deterministica e si può valutare l'accumulo esatto. L'accumulo, il richiamo per pezzo e la gestione dell'arresto sono identici a quelli che si rilasciano.
Costruisci consume_stream(chunks, on_token, stop=None). Percorri i pezzi, aggiungendo ciascuno a una stringa in corso e chiamando on_token(chunk) per ognuno. Se stop è dato e un pezzo è uguale a lui, fermati prima di aggiungerlo (il testo di arresto è escluso) e ricorda che ti sei fermato. Restituisci {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Senza sequenza di arresto, ogni pezzo viene consumato.
Scrivi consume_stream(chunks, on_token, stop=None) che accumula i pezzi di token in streaming nel testo completo, chiama on_token(chunk) per ogni pezzo consumato, si ferma a una sequenza di arresto se c'è (escludendo il testo di arresto stesso), e restituisce {"text", "n_tokens", "stopped"}. Il testo accumulato è uguale a "".join dei pezzi fino all'arresto; l'arresto è escluso; n_tokens conta i pezzi consumati; senza arresto, vengono consumati tutti i pezzi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.