سرفصل‌ها درس 188 از 250 · الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه
الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه

تراکنش‌های انباشت توکن

مدل‌های مدرن جریان پاسخ آن‌ها: به جای یک پاسخ بزرگ، زمان اجرا به شما دنباله‌ای از پاسخ‌های کوچک می‌دهد. تکه‌های توکن همین‌طور که تولید می‌شوند. به همین دلیل رابط‌های کاربری چت متن را کلمه به کلمه نمایش می‌دهند. وظیفه شما در سمت دریافت این است که انباشتن آن تکه‌ها را در پاسخ کامل وارد کنید، با هر کدام به محض رسیدن کاری انجام دهید (رابط کاربری را به‌روزرسانی کنید، توکن‌ها را بشمارید، منتظر توقف باشید) و بدانید چه زمانی باید متوقف شوید.

دو چیز باعث می‌شود استریم کردن بیش از یک پیوست ساده باشد. اول اینکه معمولاً یک کال‌بک را پاس می‌کنید که اجرا می‌شود به ازای هر بخش -> اینگونه است که افکت تایپ زنده کار می‌کند. دوم، شما اغلب یک توالی توقف: یک نشانگر که به معنای «پاسخ واقعی همین‌جا پایان می‌یابد، بقیه را رها کن». وقتی آن را می‌بینی، فوراً متوقف می‌شوی و انجام می‌دهی نه متن توقف را در خروجی بگنجانید.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

یک موتور واقعی این تکه‌ها را از یک جریان شبکه‌ای استخراج می‌کند؛ یک موتور WebLLM روی دستگاه آن‌ها را از engine.chat.completions.create({ stream: true })در اینجا تکه‌ها صرفاً فهرستی هستند که در اختیار شما قرار می‌گیرد، بنابراین منطق به‌صورت تعیین‌گراست و می‌توانید انباشت دقیق را ارزیابی کنید. انباشت، تابع فراخوانی برای هر تکه و مدیریت توقف دقیقاً مشابه آنچه در محصول عرضه می‌شود هستند.

ساخت consume_stream(chunks, on_token, stop=None). روی تکه‌ها پیمایش کنید، هر کدام را به یک رشتهٔ در حال اجرا اضافه کرده و فراخوانی کنید on_token(chunk) برای آن. اگر stop یک مقدار داده می‌شود و یک chunk برابر آن است، قبل از الحاق آن توقف کنید (متن توقف در نظر گرفته نمی‌شود) و به خاطر داشته باشید که متوقف شده‌اید. بازگشت {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. در صورت عدم وجود توالی توقف، هر بخش مصرف می‌شود.

نوبت شما

نوشتن consume_stream(chunks, on_token, stop=None) که تکه‌های توکن جریانی را در متن کامل جمع‌آوری می‌کند، را فراخوانی می‌کند on_token(chunk) به ازای هر بخش مصرف‌شده، در صورت وجود توالی توقف (بدون احتساب خود متن توقف) متوقف می‌شود و بازمی‌گردد {"text", "n_tokens", "stopped"}. متن انباشته شده برابر است با "".join از توکن‌های مصرف‌شده تا توالی توقف؛ خود توالی توقف شامل نمی‌شود؛ n_tokens تعداد تکه‌های مصرف‌شده را می‌شمارد؛ در صورت عدم وجود تابع توقف، همه تکه‌ها مصرف می‌شوند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.