استدعاءات الدفعات المتزامنة (توزيع محدود)
عندما تحتاج إلى إجابات لألف طلب، فإن استدعاء النموذج واحدا تلو الآخر والانتظار لكل رد هو أمر بطيء جدا. التطبيقات الحقيقية ترسل طلبات كثيرة concurrently -> ولكن ليس بلا حدود: كل مزود يضع حداً أقصى لعدد المكالمات الجارية التي يسمح بها، لذا تعالج العمل في batches بحجم ثابت. حقيقتان تجعلان التزامن أمرا صعبا، وكلاهما يظهر هنا.
- تأتي النتائج بترتيب غير صحيح. قد ينتهي طلب قصير قبل طلب طويل أرسلته أولا. يجب على الكود الخاص بك إعادة تجميع الإجابات حسب موقع الإدخال الأصلي، وليس حسب من انتهى أولا.
- الإنتاجية محدودة بالسعة. مع
nprompts وسعة قدرهاc، تقوم بتشغيلceil(n / c)batches -> وهو الرقم الذي يتم بناء كل خطة سعة حوله.
A كلاً من asyncio وعميل شبكة حقيقي. ولإبقاء هذه النسخة الأولى سهلة المتابعة، تقوم بنمذجة الشكل نفسه باستخدام وظائف بسيطة وحلقة جدولة -> لا توجد حلقة أحداث، لا توجد شبكة، ولا يوجد نموذج حقيقي. إليك الشكل الحقيقي، كمرجع، نفس المنطق مع حلقة أحداث حية:
import asyncio
async def run_batch(prompts, worker, cap=4):
sem = asyncio.Semaphore(cap) # the concurrency cap
async def one(i):
async with sem: # at most cap in flight
return i, await worker(prompts[i])
pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
results = [None] * len(prompts)
for i, r in pairs: # reassemble by ORIGINAL index
results[i] = r["result"]
return resultsيفرض A Semaphore الحد الأقصى، ويقوم gather بتشغيل الاستدعاءات معاً، ولا تزال تكتب كل إجابة في خانتها الأصلية. لاحظ فرقاً واحداً عن الدفعات التي ستنشئها: مع semaphore يبدأ استدعاء جديد في اللحظة التي ينتهي فيها أي استدعاء، لذا يكون هناك دائماً ما يصل إلى cap قيد التنفيذ، بينما تنتظر الدفعات الثابتة أبطأ استدعاء في كل دفعة قبل بدء الدفعة التالية. نسخة semaphore أسرع؛ الدفعات أسهل في التفكير المنطقي. يمكن اختبار كود Async أيضاً (مع asyncio.run و fake workers)؛ هنا تبني نسخة الدفعة مع plain scheduler لتبقى المنطق واضحة. يمثل worker(prompt) استدعاء النموذج ويعيد {"result": ..., "cost": ...}، حيث يمثل cost الوقت الذي سيستغرقه هذا العنصر. تقوم بجدولة كل دفعة عمداً بترتيب تكلفة مختلف لإثبات أن تجميع نتيجتك لا يعتمد عليها سراً.
for start in range(0, len(prompts), cap):
window = range(start, min(start + cap, len(prompts)))
# work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
...قم ببناء run_batch(prompts, worker, cap=4). وقم بعمل Map worker فوق كل prompt في دفعات بحجم cap، وأرجع {"results": [...], "batches": n_batches} حيث results[i] هي نتيجة worker لـ prompts[i] (مع الحفاظ على ترتيب المدخلات) و batches هي ceil(len(prompts) / cap). قائمة prompt فارغة تشغل صفر من الدفعات.
اكتب run_batch(prompts, worker, cap=4) الذي يربط (mocked) worker فوق كل prompt في دفعات بحجم cap ويعيد {"results", "batches"}. يجب أن يكون results بترتيب INPUT حتى لو كان كل عنصر يحمل cost مختلفا يمكنك الجدولة من خلاله؛ batches هو ceil(len(prompts) / cap). استخدم وظائف بسيطة وحلقة جدولة -> لا asyncio، ولا شبكة. يجب أن تعطي مجموعة مدخلات ثانية متميزة نتائج مختلفة؛ القائمة الفارغة تشغل صفر دفعة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.