Programma Lezione 188 di 250 · Schemi di produzione: nuovi tentativi, async, streaming e memoria
Schemi di produzione: nuovi tentativi, async, streaming e memoria

Accumulare i token in streaming

I modelli moderni mandano la risposta in streaming: invece di un'unica grande risposta, l'ambiente ti consegna una sequenza di piccoli pezzi di token man mano che vengono generati. È per questo che le interfacce di chat mostrano il testo che compare parola per parola. Il tuo lavoro dalla parte di chi riceve è accumulare quei pezzi nella risposta completa, fare qualcosa con ciascuno appena arriva (aggiornare l'interfaccia, contare i token, controllare un arresto), e sapere quando smettere.

Due cose rendono lo streaming più di una semplice unione. Primo, di solito passi una funzione di richiamo che scatta per ogni pezzo -> è così che funziona l'effetto di scrittura dal vivo. Secondo, spesso hai una sequenza di arresto: un marcatore che significa "la vera risposta finisce qui, butta via il resto". Quando lo vedi ti fermi subito e non includi il testo di arresto nell'uscita.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

Un motore vero produce questi pezzi da uno stream di rete; un motore WebLLM sul dispositivo li produce da engine.chat.completions.create({ stream: true }). Qui i pezzi sono solo una lista che ti viene data, quindi la logica è deterministica e si può valutare l'accumulo esatto. L'accumulo, il richiamo per pezzo e la gestione dell'arresto sono identici a quelli che si rilasciano.

Costruisci consume_stream(chunks, on_token, stop=None). Percorri i pezzi, aggiungendo ciascuno a una stringa in corso e chiamando on_token(chunk) per ognuno. Se stop è dato e un pezzo è uguale a lui, fermati prima di aggiungerlo (il testo di arresto è escluso) e ricorda che ti sei fermato. Restituisci {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Senza sequenza di arresto, ogni pezzo viene consumato.

Tocca a te

Scrivi consume_stream(chunks, on_token, stop=None) che accumula i pezzi di token in streaming nel testo completo, chiama on_token(chunk) per ogni pezzo consumato, si ferma a una sequenza di arresto se c'è (escludendo il testo di arresto stesso), e restituisce {"text", "n_tokens", "stopped"}. Il testo accumulato è uguale a "".join dei pezzi fino all'arresto; l'arresto è escluso; n_tokens conta i pezzi consumati; senza arresto, vengono consumati tutti i pezzi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.