Müfredat 250 dersinden 121. · Gerçek bir LLM Çağırma
Gerçek bir LLM Çağırma

API Hatalarını Yönet

Gerçek ağ çağrıları başarısız olabilir ve bir üretim LLM istemcisi buna nasıl tepki verdiğiyle hayatta kalır veya ölür. En yararlı içgüdü, hataları iki kategoriye ayırmaktır: retrying değerleri (muhtemelen düzelecek geçici bir aksaklık) ve fix in the request değerleri (ne kadar denerseniz deneyin işe yaramayacak çağrınızdaki bir hata). HTTP durum kodu hangi kategoride olduğunuzu söyler.

Gerçek kodda SDK'nın tipi belirlenmiş istisçalarını yakalarsın, bunların her biri bir .status_code (sadece örnek amaçlı -> ağı çağırmıyoruz):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

Durum koduna göre kovalar:

  • Retry -> 408 (istek zaman aşımı), 409 (çakışma), 429 (hız sınırı) ve 500 ile 599 arasındaki herhangi bir sunucu hatası, örneğin 502, 503 (kullanılamıyor) veya 529 (aşırı yüklenmiş). Bunlar geçicidir: bekle, sonra tekrar dene. Yanıt bir retry-after başlığı içerdiğinde, en az o kadar süre bekle.
  • İsteği düzelt -> 400 (hatalı istek), 401 (hatalı API anahtarı), 403 (yasaklı), 404 (yanlış model veya yol). Hatalı bir çağrıyı tekrar denemek sadece kotayı bitirir.
  • Unknown -> başka herhangi bir şey (200 gibi bir başarı dahil): tekrar denemenin güvenli olduğunu varsayma.

İki küçük fonksiyonu oluşturuyorsun. classify_error(status) kova adını döndürür: "retry", "fix-request" veya "unknown". should_retry(status), durum retry setinde olduğunda tam olarak True değerini, aksi takdirde False değerini döndürür.

Bu ders ister tekrar deneme yapıp yapmayacağına karar verir; bekleme süresi kendi becerisidir. production-patterns modülü üstel geri çekilmeyi (her denemede gecikmeyi ikiye katla: 1s, 2s, 4s ...) kapsar ve bunun üzerine ADD jitter -> küçük rastgele bir ekstra bekleme miktarı -> aynı anda reddedilen bir müşteri grubunun hepsinin aynı anda tekrar denemeyip sunucuyu tekrar çökertmemesi için (thundering herd) ekle. Durum tablosunun birkaç farklı cevap (429 -> retry, 400 -> fix-request, 200 -> unknown) döndüreceği şekilde oluştur, bu da tek bir sabit değerin geçemeyeceği anlamına gelir.

Senin sıran

classify_error(status) yaz: 408 (istek zaman aşımı), 409 (çakışma), 429 (hız sınırı) ve 500 ile 599 arasındaki her sunucu hatası (529 aşırı yük demek) için "retry", {400, 401, 403, 404} için "fix-request", ve diğer her şey için "unknown" döndürsün. should_retry(status) yaz: tam olarak classify_error(status) "retry" olduğunda boolean True, aksi halde False döndürsün. (Bu resmi Anthropic SDK'sının kullandığı kuralın aynısı: bu durumları ve bağlantı hatalarını varsayılan olarak iki kez yeniden dener, ve bir retry-after başlığı ne kadar beklemesini isterse o kadar bekler. Gerçek kodda bunu çoğunlukla kendin yazmak yerine max_retries'ı ayarlarsın; bir kez yazmak ne yaptığını gösterir.)

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.