Acúmulo de Tokens em Streaming
Modelos modernos stream sua resposta: em vez de uma resposta grande, o runtime te entrega uma sequência de pequenos token chunks conforme são gerados. É por isso que as interfaces de chat mostram o texto aparecendo palavra por palavra. Seu trabalho no recebimento é accumulate esses chunks na resposta completa, fazer algo com cada um conforme ele chega (atualizar a UI, contar tokens, observar uma parada) e saber quando parar.
Duas coisas fazem o streaming ser mais do que um join simples. Primeiro, você geralmente passa um callback que dispara por chunk -> é assim que o efeito de digitação ao vivo funciona. Segundo, você costuma ter uma sequência de parada: um marcador que significa "a resposta real termina aqui, descarte o resto". Quando você o vê, você para imediatamente e você não inclui o texto de parada na saída.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackA real engine yields these chunks from a network stream; an on-device WebLLM engine yields them from engine.chat.completions.create({ stream: true }). Aqui os chunks são apenas uma list que você recebe, então a lógica é determinística e você pode avaliar o acúmulo exato. O acúmulo, o callback por chunk e o tratamento de parada são idênticos ao que vai para produção.
Construa consume_stream(chunks, on_token, stop=None). Percorra os pedaços, anexando cada um a uma string em execução e chamando on_token(chunk) para ele. Se stop for fornecido e um pedaço for igual a ele, pare antes de anexá-lo (o texto de parada é excluído) e lembre que você parou. Retorne {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Sem nenhuma sequência de parada presente, cada pedaço é consumido.
Escreva consume_stream(chunks, on_token, stop=None) que acumula pedaços de tokens transmitidos no texto completo, chama on_token(chunk) por pedaço consumido, para em uma sequência de parada se presente (excluindo o próprio texto de parada) e retorna {"text", "n_tokens", "stopped"}. O texto acumulado equivale a "".join dos pedaços até a parada; a parada é excluída; n_tokens conta os pedaços consumidos; sem parada, todos os pedaços são consumidos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.