المنهج الدراسي الدرس 188 من 250 · أنماط الإنتاج: Retries، وAsync، وStreaming، وMemory
أنماط الإنتاج: Retries، وAsync، وStreaming، وMemory

تراكم الرموز المتدفقة

النماذج الحديثة تبث ردها: بدلا من استجابة واحدة كبيرة، يمنحك الruntime تسلسلا من قطع token الصغيرة أثناء توليدها. هذا هو السبب في أن واجهات chat UI تعرض النص كلمة بكلمة. مهمتك في الطرف المستلم هي تجميع تلك القطع في الإجابة الكاملة، والقيام بشيء ما بكل قطعة عند وصولها (تحديث UI، عد tokens، مراقبة التوقف)، ومعرفة متى تتوقف.

أمران يجعلان البث أكثر من مجرد ربط بسيط. أولاً، تمرّر عادةً دالة استدعاء تعمل لكل قطعة -> وهكذا يعمل تأثير الكتابة المباشرة. ثانياً، غالباً ما يكون لديك تسلسل توقف: علامة تعني "الإجابة الحقيقية تنتهي هنا، أسقط الباقي". عندما تراه تتوقف فوراً و لا تُدرج نص التوقف في المخرج.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback
يُنتج محرك

A هذه الأجزاء من تدفق شبكة؛ بينما ينتج محرك WebLLM على الجهاز هذه الأجزاء من engine.chat.completions.create({ stream: true }). هنا تكون الأجزاء مجرد قائمة يتم تسليمها إليك، لذا فإن المنطق حتمي ويمكنك تقييم التراكم الدقيق. التراكم، واستدعاء callback لكل جزء، ومعالجة التوقف متطابقة مع ما هو موجود في ships.

ابنِ consume_stream(chunks, on_token, stop=None).. قم بالمرور عبر القطع، وأضف كل قطعة إلى سلسلة نصية مستمرة واستدعِ on_token(chunk) لها. إذا تم إعطاء stop وكانت إحدى القطع تساويها، توقف قبل إضافتها (يتم استبعاد نص التوقف) وتذكر أنك توقفت. أرجع {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. في حال عدم وجود تسلسل توقف، يتم استهلاك كل قطعة.

دورك

اكتب consume_stream(chunks, on_token, stop=None) الذي يجمع أجزاء الرموز المتدفقة في النص الكامل، ويستدعي on_token(chunk) لكل جزء مستهلك، ويتوقف عند تسلسل توقف إذا وجد (باستثناء نص التوقف نفسه)، ويعيد {"text", "n_tokens", "stopped"}. النص المتراكم يساوي "".join للأجزاء حتى التوقف؛ يتم استبعاد التوقف؛ يقوم n_tokens بعد الأجزاء المستهلكة؛ بدون توقف، يتم استهلاك جميع الأجزاء.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.