Accumuler les tokens en streaming
Les modèles modernes diffusent en continu (streaming) leur réponse : au lieu d'une grosse réponse, l'environnement te donne une suite de petits morceaux de tokens au fur et à mesure qu'ils sont générés. C'est pour ça que les interfaces de discussion affichent le texte mot par mot. Ton travail côté réception est d'accumuler ces morceaux pour former la réponse complète, de faire quelque chose avec chacun à son arrivée (mettre à jour l'interface, compter les tokens, guetter un arrêt), et de savoir quand t'arrêter.
Deux choses font du streaming plus qu'une simple concaténation. D'abord, tu passes en général une fonction de rappel qui se déclenche à chaque morceau -> c'est comme ça que marche l'effet de frappe en direct. Ensuite, tu as souvent une séquence d'arrêt : un marqueur qui veut dire « la vraie réponse s'arrête ici, jette le reste ». Quand tu la vois, tu t'arrêtes tout de suite et tu n'inclus pas le texte d'arrêt dans la sortie.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackUn vrai moteur produit ces morceaux depuis un flux réseau ; un moteur WebLLM sur l'appareil les produit depuis engine.chat.completions.create({ stream: true }). Ici, les morceaux sont juste une liste qu'on te donne, donc la logique est déterministe et on peut noter l'accumulation exacte. L'accumulation, la fonction de rappel par morceau et la gestion de l'arrêt sont identiques à ce qu'on livre.
Construis consume_stream(chunks, on_token, stop=None). Parcours les morceaux, ajoute chacun à une chaîne courante et appelle on_token(chunk) pour lui. Si stop est fourni et qu'un morceau lui est égal, arrête-toi avant de l'ajouter (le texte d'arrêt est exclu) et retiens que tu t'es arrêté. Renvoie {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Sans séquence d'arrêt présente, chaque morceau est consommé.
Écris consume_stream(chunks, on_token, stop=None) qui accumule les morceaux de tokens diffusés pour former le texte complet, appelle on_token(chunk) pour chaque morceau consommé, s'arrête à une séquence d'arrêt si elle est présente (sans inclure le texte d'arrêt lui-même), et renvoie {"text", "n_tokens", "stopped"}. Le texte accumulé vaut "".join des morceaux jusqu'à l'arrêt ; l'arrêt est exclu ; n_tokens compte les morceaux consommés ; sans arrêt, tous les morceaux sont consommés.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.