Silabus Pelajaran 186 dari 250 · Pola Produksi: Retries, Async, Streaming & Memory
Pola Produksi: Retries, Async, Streaming & Memory

Coba Lagi dengan Exponential Backoff

Hal pertama yang diajarkan dunia nyata ke aplikasi LLM adalah bahwa panggilan fail. Batas laju, koneksi terputus, atau 503 dari penyedia -> semua ini bukan berarti kodemu salah, tapi artinya kamu harus menunggu sebentar dan mencoba lagi. Pola standarnya adalah retry with exponential backoff: pada setiap kegagalan kamu menunggu lebih lama sebelum percobaan berikutnya, jadi gangguan singkat pulih dengan cepat sementara layanan yang bermasalah tidak dihantam terus menerus.

Jeda antar percobaan berlipat ganda setiap saat. Jika jeda dasar adalah 0.5 detik, kamu menunggu 0.5, lalu 1.0, lalu 2.0, dan seterusnya -> rumusnya adalah base_delay * 2 ** attempt di mana attempt adalah nomor percobaan berbasis nol. Setelah jumlah percobaan tetap, kamu menyerah dan membiarkan error menyebar, karena mencoba terus menerus hanya menyembunyikan gangguan yang sebenarnya.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

Di produksi, waktu tunggu adalah time.sleep(delay) yang nyata, dan di sekitar mesin WebLLM on-device kamu akan membungkus loop retry yang sama di atas engine.chat.completions.create(...). Tapi tidur membuat tes lambat dan tidak stabil, jadi di sini kamu tidak tidur sama sekali: kamu record penundaan yang seharusnya kamu tunggu dan mengembalikannya. Itu menjaga semuanya tetap deterministik dan bisa diuji seketika, sementara logika -> hitung percobaan, hitung backoff, menyerah di batas -> adalah apa yang benar-benar dikirim.

Satu penyempurnaan dunia nyata yang perlu diketahui: melipatgandakan delay saja membuat setiap klien yang gagal di saat yang sama mencoba lagi secara bersamaan, semuanya bangun bersama dan menghantam layanan lagi (sebuah "thundering herd"). Kode produksi menambahkan jitter -> sedikit keacakan agar percobaan ulang menyebar, biasanya dengan tidur selama jumlah acak hingga delay yang dihitung ("full jitter", contohnya time.sleep(random.uniform(0, delay))). Kita menjaga fungsi berjenjang tetap deterministik dan mencatat nilai base_delay * 2 ** attempt yang tepat; jitter adalah penyempurnaan produksi yang akan kamu tambahkan di atasnya, bukan bagian dari latihan.

Bangun retry_call(fn, max_attempts, base_delay). Panggil fn(). Jika berhasil, kembalikan dict {"value": result, "attempts": how_many_calls, "delays": [...]}. Jika error, catat delay backoff base_delay * 2 ** attempt (jangan sleep) dan coba lagi, sampai max_attempts total panggilan. Jika percobaan terakhir tetap error, biarkan exception itu merambat. Callable yang tidak pernah gagal dipanggil tepat satu kali dengan list delay kosong. Dua aturan dari klien asli juga ada di sini. Coba lagi hanya untuk kegagalan sementara (status 408, 409, 429 dan 5xx dari modul calling-llms); request yang salah format gagal dengan cara yang sama setiap saat. Dan saat server mengirim header retry-after, tunggu setidaknya selama itu alih-alih menggunakan backoff milikmu sendiri. SDK resmi sudah melakukan keduanya, dua kali secara default, jadi dalam praktiknya kamu biasanya mengatur max_retries daripada menulis loop ini sendiri.

Giliranku

Tulis retry_call(fn, max_attempts, base_delay, retryable=None) yang memanggil fn() dan mencoba lagi saat terjadi error, tapi hanya error yang layak dicoba ulang: jika retryable diberikan (fungsi dari pengecualian ke True/False) dan mengembalikan False, lempar ulang segera tanpa percobaan lain. Dengan retryable=None, setiap pengecualian dianggap bisa dicoba ulang. Ini juga mencatat jeda exponential backoff base_delay * 2 ** attempt sebelum setiap percobaan ulang TANPA tidur. Kembalikan {"value", "attempts", "delays"} jika berhasil; lempar ulang sekali max_attempts panggilan semuanya gagal. Fungsi yang gagal N-1 kali lalu berhasil mengembalikan nilai; jeda yang dicatat sama dengan referensi exponential; fungsi yang tidak pernah gagal dipanggil tepat satu kali.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.