المنهج الدراسي الدرس 187 من 250 · أنماط الإنتاج: Retries، وAsync، وStreaming، وMemory
أنماط الإنتاج: Retries، وAsync، وStreaming، وMemory

استدعاءات الدفعات المتزامنة (توزيع محدود)

عندما تحتاج إلى إجابات لألف طلب، فإن استدعاء النموذج واحدا تلو الآخر والانتظار لكل رد هو أمر بطيء جدا. التطبيقات الحقيقية ترسل طلبات كثيرة concurrently -> ولكن ليس بلا حدود: كل مزود يضع حداً أقصى لعدد المكالمات الجارية التي يسمح بها، لذا تعالج العمل في batches بحجم ثابت. حقيقتان تجعلان التزامن أمرا صعبا، وكلاهما يظهر هنا.

  • تأتي النتائج بترتيب غير صحيح. قد ينتهي طلب قصير قبل طلب طويل أرسلته أولا. يجب على الكود الخاص بك إعادة تجميع الإجابات حسب موقع الإدخال الأصلي، وليس حسب من انتهى أولا.
  • الإنتاجية محدودة بالسعة. مع n prompts وسعة قدرها c، تقوم بتشغيل ceil(n / c) batches -> وهو الرقم الذي يتم بناء كل خطة سعة حوله.
ستستخدم نسخة الإنتاج

A كلاً من asyncio وعميل شبكة حقيقي. ولإبقاء هذه النسخة الأولى سهلة المتابعة، تقوم بنمذجة الشكل نفسه باستخدام وظائف بسيطة وحلقة جدولة -> لا توجد حلقة أحداث، لا توجد شبكة، ولا يوجد نموذج حقيقي. إليك الشكل الحقيقي، كمرجع، نفس المنطق مع حلقة أحداث حية:

import asyncio

async def run_batch(prompts, worker, cap=4):
    sem = asyncio.Semaphore(cap)            # the concurrency cap
    async def one(i):
        async with sem:                     # at most cap in flight
            return i, await worker(prompts[i])
    pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
    results = [None] * len(prompts)
    for i, r in pairs:                       # reassemble by ORIGINAL index
        results[i] = r["result"]
    return results
يفرض

A Semaphore الحد الأقصى، ويقوم gather بتشغيل الاستدعاءات معاً، ولا تزال تكتب كل إجابة في خانتها الأصلية. لاحظ فرقاً واحداً عن الدفعات التي ستنشئها: مع semaphore يبدأ استدعاء جديد في اللحظة التي ينتهي فيها أي استدعاء، لذا يكون هناك دائماً ما يصل إلى cap قيد التنفيذ، بينما تنتظر الدفعات الثابتة أبطأ استدعاء في كل دفعة قبل بدء الدفعة التالية. نسخة semaphore أسرع؛ الدفعات أسهل في التفكير المنطقي. يمكن اختبار كود Async أيضاً (مع asyncio.run و fake workers)؛ هنا تبني نسخة الدفعة مع plain scheduler لتبقى المنطق واضحة. يمثل worker(prompt) استدعاء النموذج ويعيد {"result": ..., "cost": ...}، حيث يمثل cost الوقت الذي سيستغرقه هذا العنصر. تقوم بجدولة كل دفعة عمداً بترتيب تكلفة مختلف لإثبات أن تجميع نتيجتك لا يعتمد عليها سراً.

for start in range(0, len(prompts), cap):
    window = range(start, min(start + cap, len(prompts)))
    # work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
    ...

قم ببناء run_batch(prompts, worker, cap=4). وقم بعمل Map worker فوق كل prompt في دفعات بحجم cap، وأرجع {"results": [...], "batches": n_batches} حيث results[i] هي نتيجة worker لـ prompts[i] (مع الحفاظ على ترتيب المدخلات) و batches هي ceil(len(prompts) / cap). قائمة prompt فارغة تشغل صفر من الدفعات.

دورك

اكتب run_batch(prompts, worker, cap=4) الذي يربط (mocked) worker فوق كل prompt في دفعات بحجم cap ويعيد {"results", "batches"}. يجب أن يكون results بترتيب INPUT حتى لو كان كل عنصر يحمل cost مختلفا يمكنك الجدولة من خلاله؛ batches هو ceil(len(prompts) / cap). استخدم وظائف بسيطة وحلقة جدولة -> لا asyncio، ولا شبكة. يجب أن تعطي مجموعة مدخلات ثانية متميزة نتائج مختلفة؛ القائمة الفارغة تشغل صفر دفعة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.