Conteúdo do curso Lição 188 de 250 · Padrões de Produção: Retries, Async, Streaming e Memória
Padrões de Produção: Retries, Async, Streaming e Memória

Acúmulo de Tokens em Streaming

Modelos modernos stream sua resposta: em vez de uma resposta grande, o runtime te entrega uma sequência de pequenos token chunks conforme são gerados. É por isso que as interfaces de chat mostram o texto aparecendo palavra por palavra. Seu trabalho no recebimento é accumulate esses chunks na resposta completa, fazer algo com cada um conforme ele chega (atualizar a UI, contar tokens, observar uma parada) e saber quando parar.

Duas coisas fazem o streaming ser mais do que um join simples. Primeiro, você geralmente passa um callback que dispara por chunk -> é assim que o efeito de digitação ao vivo funciona. Segundo, você costuma ter uma sequência de parada: um marcador que significa "a resposta real termina aqui, descarte o resto". Quando você o vê, você para imediatamente e você não inclui o texto de parada na saída.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

A real engine yields these chunks from a network stream; an on-device WebLLM engine yields them from engine.chat.completions.create({ stream: true }). Aqui os chunks são apenas uma list que você recebe, então a lógica é determinística e você pode avaliar o acúmulo exato. O acúmulo, o callback por chunk e o tratamento de parada são idênticos ao que vai para produção.

Construa consume_stream(chunks, on_token, stop=None). Percorra os pedaços, anexando cada um a uma string em execução e chamando on_token(chunk) para ele. Se stop for fornecido e um pedaço for igual a ele, pare antes de anexá-lo (o texto de parada é excluído) e lembre que você parou. Retorne {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Sem nenhuma sequência de parada presente, cada pedaço é consumido.

Sua vez

Escreva consume_stream(chunks, on_token, stop=None) que acumula pedaços de tokens transmitidos no texto completo, chama on_token(chunk) por pedaço consumido, para em uma sequência de parada se presente (excluindo o próprio texto de parada) e retorna {"text", "n_tokens", "stopped"}. O texto acumulado equivale a "".join dos pedaços até a parada; a parada é excluída; n_tokens conta os pedaços consumidos; sem parada, todos os pedaços são consumidos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.