Acumular tokens en streaming
Los modelos modernos envían su respuesta en streaming: en lugar de una gran respuesta, el entorno te entrega una secuencia de pequeños fragmentos de tokens a medida que se generan. Por eso las interfaces de chat muestran el texto apareciendo palabra a palabra. Tu trabajo en el extremo receptor es acumular esos fragmentos en la respuesta completa, hacer algo con cada uno según llega (actualizar la interfaz, contar tokens, vigilar una parada) y saber cuándo dejarlo.
Dos cosas hacen del streaming algo más que un simple join. Primero, normalmente pasas una función de retorno que se dispara por fragmento -> así funciona el efecto de escritura en directo. Segundo, a menudo tienes una secuencia de parada: un marcador que significa "la respuesta real termina aquí, descarta el resto". Cuando la ves, paras de inmediato y no incluyes el texto de parada en la salida.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackUn motor real produce estos fragmentos desde un flujo de red; un motor WebLLM en el dispositivo los produce desde engine.chat.completions.create({ stream: true }). Aquí los fragmentos son solo una lista que te dan, así que la lógica es determinista y se puede evaluar la acumulación exacta. La acumulación, la función de retorno por fragmento y el manejo de la parada son idénticos a lo que se publica.
Construye consume_stream(chunks, on_token, stop=None). Recorre los fragmentos, añadiendo cada uno a una cadena acumulada y llamando a on_token(chunk) por cada uno. Si se da stop y un fragmento es igual a él, para antes de añadirlo (el texto de parada queda fuera) y recuerda que paraste. Devuelve {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Si no aparece ninguna secuencia de parada, se consumen todos los fragmentos.
Escribe consume_stream(chunks, on_token, stop=None), que acumule los fragmentos de tokens recibidos en streaming en el texto completo, llame a on_token(chunk) por cada fragmento consumido, pare en una secuencia de parada si aparece (excluyendo el propio texto de parada) y devuelva {"text", "n_tokens", "stopped"}. El texto acumulado es igual a "".join de los fragmentos hasta la parada; la parada queda fuera; n_tokens cuenta los fragmentos consumidos; sin parada, se consumen todos los fragmentos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.