تراكم الرموز المتدفقة
النماذج الحديثة تبث ردها: بدلا من استجابة واحدة كبيرة، يمنحك الruntime تسلسلا من قطع token الصغيرة أثناء توليدها. هذا هو السبب في أن واجهات chat UI تعرض النص كلمة بكلمة. مهمتك في الطرف المستلم هي تجميع تلك القطع في الإجابة الكاملة، والقيام بشيء ما بكل قطعة عند وصولها (تحديث UI، عد tokens، مراقبة التوقف)، ومعرفة متى تتوقف.
أمران يجعلان البث أكثر من مجرد ربط بسيط. أولاً، تمرّر عادةً دالة استدعاء تعمل لكل قطعة -> وهكذا يعمل تأثير الكتابة المباشرة. ثانياً، غالباً ما يكون لديك تسلسل توقف: علامة تعني "الإجابة الحقيقية تنتهي هنا، أسقط الباقي". عندما تراه تتوقف فوراً و لا تُدرج نص التوقف في المخرج.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackيُنتج محرك A هذه الأجزاء من تدفق شبكة؛ بينما ينتج محرك WebLLM على الجهاز هذه الأجزاء من engine.chat.completions.create({ stream: true }). هنا تكون الأجزاء مجرد قائمة يتم تسليمها إليك، لذا فإن المنطق حتمي ويمكنك تقييم التراكم الدقيق. التراكم، واستدعاء callback لكل جزء، ومعالجة التوقف متطابقة مع ما هو موجود في ships.
ابنِ consume_stream(chunks, on_token, stop=None).. قم بالمرور عبر القطع، وأضف كل قطعة إلى سلسلة نصية مستمرة واستدعِ on_token(chunk) لها. إذا تم إعطاء stop وكانت إحدى القطع تساويها، توقف قبل إضافتها (يتم استبعاد نص التوقف) وتذكر أنك توقفت. أرجع {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. في حال عدم وجود تسلسل توقف، يتم استهلاك كل قطعة.
اكتب consume_stream(chunks, on_token, stop=None) الذي يجمع أجزاء الرموز المتدفقة في النص الكامل، ويستدعي on_token(chunk) لكل جزء مستهلك، ويتوقف عند تسلسل توقف إذا وجد (باستثناء نص التوقف نفسه)، ويعيد {"text", "n_tokens", "stopped"}. النص المتراكم يساوي "".join للأجزاء حتى التوقف؛ يتم استبعاد التوقف؛ يقوم n_tokens بعد الأجزاء المستهلكة؛ بدون توقف، يتم استهلاك جميع الأجزاء.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.