Programme Leçon 188 sur 250 · Schémas de production : nouvelles tentatives, async, streaming et mémoire
Schémas de production : nouvelles tentatives, async, streaming et mémoire

Accumuler les tokens en streaming

Les modèles modernes diffusent en continu (streaming) leur réponse : au lieu d'une grosse réponse, l'environnement te donne une suite de petits morceaux de tokens au fur et à mesure qu'ils sont générés. C'est pour ça que les interfaces de discussion affichent le texte mot par mot. Ton travail côté réception est d'accumuler ces morceaux pour former la réponse complète, de faire quelque chose avec chacun à son arrivée (mettre à jour l'interface, compter les tokens, guetter un arrêt), et de savoir quand t'arrêter.

Deux choses font du streaming plus qu'une simple concaténation. D'abord, tu passes en général une fonction de rappel qui se déclenche à chaque morceau -> c'est comme ça que marche l'effet de frappe en direct. Ensuite, tu as souvent une séquence d'arrêt : un marqueur qui veut dire « la vraie réponse s'arrête ici, jette le reste ». Quand tu la vois, tu t'arrêtes tout de suite et tu n'inclus pas le texte d'arrêt dans la sortie.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

Un vrai moteur produit ces morceaux depuis un flux réseau ; un moteur WebLLM sur l'appareil les produit depuis engine.chat.completions.create({ stream: true }). Ici, les morceaux sont juste une liste qu'on te donne, donc la logique est déterministe et on peut noter l'accumulation exacte. L'accumulation, la fonction de rappel par morceau et la gestion de l'arrêt sont identiques à ce qu'on livre.

Construis consume_stream(chunks, on_token, stop=None). Parcours les morceaux, ajoute chacun à une chaîne courante et appelle on_token(chunk) pour lui. Si stop est fourni et qu'un morceau lui est égal, arrête-toi avant de l'ajouter (le texte d'arrêt est exclu) et retiens que tu t'es arrêté. Renvoie {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Sans séquence d'arrêt présente, chaque morceau est consommé.

À ton tour

Écris consume_stream(chunks, on_token, stop=None) qui accumule les morceaux de tokens diffusés pour former le texte complet, appelle on_token(chunk) pour chaque morceau consommé, s'arrête à une séquence d'arrêt si elle est présente (sans inclure le texte d'arrêt lui-même), et renvoie {"text", "n_tokens", "stopped"}. Le texte accumulé vaut "".join des morceaux jusqu'à l'arrêt ; l'arrêt est exclu ; n_tokens compte les morceaux consommés ; sans arrêt, tous les morceaux sont consommés.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.