Silabus Pelajaran 121 dari 250 · Memanggil LLM Asli
Memanggil LLM Asli

Menangani Error API

Panggilan jaringan asli bisa gagal, dan klien LLM produksi hidup atau mati tergantung cara ia bereaksi. Insting paling berguna adalah membagi kegagalan menjadi dua kategori: yang layak retrying (gangguan singkat yang kemungkinan akan hilang) dan yang harus kamu fix in the request (bug pada panggilanmu yang tidak akan terbantu dengan retrying sebanyak apa pun). Kode status HTTP memberi tahu kamu di kategori mana kamu berada.

Di kode asli kamu menangkap exception bertipe SDK, yang masing-masing membawa .status_code (hanya ilustrasi -> kita tidak memanggil jaringan):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

Bucket berdasarkan kode status:

  • Retry -> 408 (request timeout), 409 (conflict), 429 (rate limited), dan error server apa pun dari 500 sampai 599, seperti 502, 503 (unavailable) atau 529 (overloaded). Ini bersifat sementara: tunggu, lalu coba lagi. Saat respon membawa header retry-after, tunggu setidaknya selama itu.
  • Perbaiki request -> 400 (bad request), 401 (bad API key), 403 (forbidden), 404 (wrong model or path). Mencoba ulang panggilan yang salah hanya akan menghabiskan kuota.
  • Unknown -> hal lain (termasuk keberhasilan seperti 200): jangan anggap aman untuk mencoba lagi.

Kamu sedang membangun dua fungsi kecil. classify_error(status) mengembalikan nama bucket: "retry", "fix-request", atau "unknown". should_retry(status) mengembalikan boolean -> True tepat saat status ada di dalam retry set, jika tidak False.

Pelajaran ini menentukan apakah untuk mencoba lagi; waktu tunggu di antara percobaan adalah keahlian tersendiri. Modul production-patterns membahas exponential backoff (lipat gandakan penundaan setiap percobaan: 1s, 2s, 4s ...), dan di atas itu kamu ADD jitter -> jumlah tunggu tambahan acak yang kecil -> supaya sekumpulan klien yang ditolak di saat yang sama tidak mencoba lagi di waktu yang sama dan membebani server lagi (the "thundering herd"). Buatlah agar tabel status menghasilkan beberapa jawaban berbeda (429 -> retry, 400 -> fix-request, 200 -> unknown), yang berarti tidak ada satu konstanta tunggal yang bisa lolos.

Giliranku

Tulis classify_error(status) yang mengembalikan "retry" untuk 408 (request timeout), 409 (conflict), 429 (rate limited) dan setiap error server dari 500 sampai 599 (529 berarti overloaded), "fix-request" untuk {400, 401, 403, 404}, dan "unknown" untuk hal lainnya. Tulis should_retry(status) yang mengembalikan boolean True tepat saat classify_error(status) adalah "retry", jika tidak False. (Ini adalah aturan yang sama dengan yang digunakan SDK resmi Anthropic: ia mencoba ulang status ini, dan error koneksi, dua kali secara default, dan menunggu selama yang diminta oleh header retry-after. Di kode asli kamu lebih sering mengonfigurasi max_retries daripada menulis ini sendiri; menulisnya sekali menunjukkan apa yang dilakukannya.)

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.