سرفصل‌ها درس 186 از 250 · الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه
الگوهای تولید: تلاش‌های مجدد، غیرهم‌زمان، پخش جریانی و حافظه

با فاصله زمانی نمایی دوباره تلاش کنید

اولین چیزی که دنیای واقعی به یک اپلیکیشن LLM می‌آموزد این است که فراخوانی‌ها ممکن است ناموفق باشند. محدودیت نرخ، قطع اتصال، خطای 503 از سمت ارائه‌دهنده -> هیچ‌کدام از این‌ها به این معنا نیست که کد شما اشتباه است، بلکه به این معناست که باید لحظه‌ای صبر کنید و دوباره تلاش کنید. الگوی استاندارد، تلاش مجدد با فاصله زمانی نمایی است: در هر بار شکست، قبل از تلاش بعدی مدت زمان بیشتری صبر می‌کنید، بنابراین یک اختلال کوتاه‌مدت سریعاً برطرف می‌شود و سرویس در حال مشکل‌دار شدن با فشار بیش از حد مواجه نمی‌شود.

تاخیر بین تلاش‌ها هر بار دو برابر می‌شود. اگر تاخیر پایه 0.5 ثانیه، شما منتظر می‌مانید. 0.5، سپس 1.0، و به همین ترتیب -> فرمول آن است 2.0 و به همین ترتیب -> فرمول به صورت زیر است: base_delay * 2 ** attempt که attempt شماره تلاش مجدد با پایه صفر است. پس از تعداد ثابتی تلاش، تسلیم می‌شوید و اجازه می‌دهید خطا منتقل شود، زیرا تلاش بی‌پایان فقط یک خرابی واقعی را پنهان می‌کند.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

در تولید، انتظار یک time.sleep(delay)، و در اطراف یک موتور WebLLM روی دستگاه، همان حلقهٔ تلاش مجدد را بر روی engine.chat.completions.create(...). اما خوابیدن باعث می‌شود تست کند و ناپایدار شود، بنابراین در اینجا اصلاً منتظر نمی‌مانید: شما تأخیرهایی را که قرار بود منتظر بمانید ثبت کرده و آنها را بازمی‌گردانید. این کار کل فرآیند را قابل پیش‌بینی و فوراً قابل تست نگه می‌دارد، در حالی که منطق -> شمارش تلاش‌ها، محاسبه وقفه، و تسلیم شدن در نهایت -> دقیقاً همان چیزی است که در محصول نهایی گنجانده می‌شود.

یک بهبود در دنیای واقعی که باید بدانید: تنها دو برابر کردن تأخیر باعث می‌شود هر کلاینتی که در همان لحظه ناموفق بوده، به صورت هماهنگ دوباره تلاش کند، همه با هم بیدار شوند و دوباره سرویس را تحت فشار قرار دهند (یک «گله غرش‌کننده»). کد تولیدی جیتِر (jitter) -> کمی تصادفی بودن اضافه می‌کند تا تلاش‌های مجدد پراکنده شوند، که معمولاً با خوابیدن به مدت یک مقدار تصادفی تا حد تأخیر محاسبه‌شده انجام می‌شود («جیتِر کامل»، مثلاً time.sleep(random.uniform(0, delay))). ما تابع درجه‌بندی‌شده را تعیین‌کننده نگه می‌داریم و مقدار دقیق را ثبت می‌کنیم base_delay * 2 ** attempt مقادیر؛ جیتِر همان بهبودی است که در کد تولید به آن اضافه می‌کنید، نه بخشی از این تمرین.

تابع retry_call(fn, max_attempts, base_delay) را بسازید. فراخوانی کنید fn(). اگر بازگشت داد، یک dict را بازگردانید {"value": result, "attempts": how_many_calls, "delays": [...]}. اگر خطا (exception) رخ دهد، تأخیر عقب‌نشینی را ثبت کنید base_delay * 2 ** attempt (خواب نگذارید) و دوباره امتحان کنید، تا max_attempts تعداد کل تماس‌ها. اگر تلاش نهایی همچنان خطا ایجاد کند، اجازه دهید آن استثنا منتقل شود. یک کال‌ابل که هرگز شکست نمی‌خورد دقیقاً یک بار با یک لیست تأخیر خالی فراخوانی می‌شود. دو قاعده از مشتریان واقعی نیز اینجا جای دارد. تنها خطاهای موقتی را دوباره امتحان کنید (وضعیت‌های 408، 409، 429 و 5xx از ماژول calling-llms)؛ یک درخواست نادرست همیشه به یک شکل شکست می‌خورد. و وقتی سرور ارسال می‌کند یک retry-after سرور یک هدر ارسال می‌کند، به جای استفاده از زمان‌بندی بازگشتی خودتان، حداقل به همان مدت صبر کنید. SDK رسمی از قبل هر دو را به صورت پیش‌فرض دو بار انجام می‌دهد، بنابراین در عمل معمولاً تنظیمات را تغییر می‌دهید max_retries تا اینکه خودتان این حلقه را بنویسید.

نوبت شما

نوشتن retry_call(fn, max_attempts, base_delay, retryable=None) که فراخوانی می‌کند fn() و هنگام رخ دادن خطا دوباره تلاش می‌کند، اما فقط خطاهایی که ارزش تلاش مجدد دارند: اگر retryable یک تابع از استثنا به مقدار True/False داده می‌شود و False را بازمی‌گرداند، بلافاصله استثنا را دوباره پرتاب می‌کند بدون هیچ تلاش دیگری. با retryable=None، هر استثنا به‌عنوان قابل‌تکرار محسوب می‌شود. آن و تأخیر عقب‌نشینی نمایی را ثبت می‌کند base_delay * 2 ** attempt قبل از هر تلاش مجدد بدون خواب. بازگردانید {"value", "attempts", "delays"} در صورت موفقیت؛ یک بار دوباره پرتاب کنید max_attempts فراخوانی‌ها همه ناموفق بوده‌اند. تابعی که N−1 بار شکست می‌خورد و سپس موفق می‌شود، مقدار را برمی‌گرداند؛ تأخیرهای ثبت‌شده برابر با مرجع نمایی هستند؛ تابعی که هرگز شکست نمی‌خورد دقیقاً یک بار فراخوانی می‌شود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.