Temario Lección 188 de 250 · Patrones de producción: reintentos, asincronía, streaming y memoria
Patrones de producción: reintentos, asincronía, streaming y memoria

Acumular tokens en streaming

Los modelos modernos envían su respuesta en streaming: en lugar de una gran respuesta, el entorno te entrega una secuencia de pequeños fragmentos de tokens a medida que se generan. Por eso las interfaces de chat muestran el texto apareciendo palabra a palabra. Tu trabajo en el extremo receptor es acumular esos fragmentos en la respuesta completa, hacer algo con cada uno según llega (actualizar la interfaz, contar tokens, vigilar una parada) y saber cuándo dejarlo.

Dos cosas hacen del streaming algo más que un simple join. Primero, normalmente pasas una función de retorno que se dispara por fragmento -> así funciona el efecto de escritura en directo. Segundo, a menudo tienes una secuencia de parada: un marcador que significa "la respuesta real termina aquí, descarta el resto". Cuando la ves, paras de inmediato y no incluyes el texto de parada en la salida.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

Un motor real produce estos fragmentos desde un flujo de red; un motor WebLLM en el dispositivo los produce desde engine.chat.completions.create({ stream: true }). Aquí los fragmentos son solo una lista que te dan, así que la lógica es determinista y se puede evaluar la acumulación exacta. La acumulación, la función de retorno por fragmento y el manejo de la parada son idénticos a lo que se publica.

Construye consume_stream(chunks, on_token, stop=None). Recorre los fragmentos, añadiendo cada uno a una cadena acumulada y llamando a on_token(chunk) por cada uno. Si se da stop y un fragmento es igual a él, para antes de añadirlo (el texto de parada queda fuera) y recuerda que paraste. Devuelve {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Si no aparece ninguna secuencia de parada, se consumen todos los fragmentos.

Tu turno

Escribe consume_stream(chunks, on_token, stop=None), que acumule los fragmentos de tokens recibidos en streaming en el texto completo, llame a on_token(chunk) por cada fragmento consumido, pare en una secuencia de parada si aparece (excluyendo el propio texto de parada) y devuelva {"text", "n_tokens", "stopped"}. El texto acumulado es igual a "".join de los fragmentos hasta la parada; la parada queda fuera; n_tokens cuenta los fragmentos consumidos; sin parada, se consumen todos los fragmentos.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.