Üstel Geri Çekilme ile Tekrar Dene
Gerçek dünyanın bir LLM uygulamasına öğrettiği ilk şey, çağrıların fail olduğudur. Bir hız sınırı, kopan bir bağlantı, sağlayıcıdan gelen bir 503 -> bunların hiçbiri kodunun yanlış olduğu anlamına gelmez, sadece bir an bekleyip tekrar denemen gerektiğini gösterir. Standart desen retry with exponential backoff şeklindedir: her başarısızlıkta bir sonraki deneme için daha uzun beklersin, böylece kısa bir aksaklık hızlıca düzelir ve zorlanan bir servis sürekli isteklerle boğulmaz.
Denemeler arasındaki gecikme her seferinde iki katına çıkar. Eğer temel gecikme 0.5 saniye ise, 0.5, sonra 1.0, sonra 2.0 ve bu şekilde devam eder -> formül base_delay * 2 ** attempt, burada attempt sıfır tabanlı deneme numarasıdır. Sabit sayıda denemeden sonra vazgeçip hatanın yayılmasına izin ver çünkü sonsuza kadar denemek gerçek bir kesintiyi sadece gizler.
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...Üretimde bekleme gerçek bir time.sleep(delay), ve cihaz üzerindeki bir WebLLM motoru etrafında aynı retry döngüsünü engine.chat.completions.create(...) üzerine kurarsın. Ancak uyumak testi yavaşlatır ve kararsız hale getirir, bu yüzden burada hiç uyumuyorsun: bekleyeceğin gecikmeleri record yapıyorsun ve onları döndürüyorsun. Bu durum tüm yapıyı deterministik ve anında test edilebilir tutar, mantık -> denemeleri say, backoff hesapla, sınırda vazgeç -> ise tam olarak yayına çıkan kısımdır.
Bilmen gereken gerçek dünya iyileştirmesi: Sadece gecikmeyi iki katına çıkarmak, aynı anda başarısız olan her istemcinin aynı anda tekrar denemesine, hepsinin aynı anda uyanıp servise tekrar yüklenmesine (bir "thundering herd") neden olur. Üretim kodu jitter ekler -> tekrar denemelerin yayılması için küçük bir rastgelelik, genellikle hesaplanan gecikmeye kadar rastgele bir süre uyuyarak ("full jitter", örneğin time.sleep(random.uniform(0, delay))). Notlandırılan fonksiyonu deterministik tutuyoruz ve tam base_delay * 2 ** attempt değerlerini kaydediyoruz; jitter, üzerine ekleyeceğin üretim iyileştirmesidir, egzersizin bir parçası değildir.
Build retry_call(fn, max_attempts, base_delay). Call fn(). Eğer dönerse, bir dict {"value": result, "attempts": how_many_calls, "delays": [...]} döndür. Eğer hata fırlatırsa, backoff delay base_delay * 2 ** attempt kaydet (uyuma) ve toplam max_attempts çağrıya kadar tekrar dene. Son deneme hala hata fırlatırsa, o exception yayılmaya izin ver. Hiç hata vermeyen bir callable, boş bir delay listesi ile tam olarak bir kez çağrılır. Gerçek istemcilerden gelen iki kural da buraya ait. Sadece geçici hataları tekrarla (calling-llms modülünden gelen 408, 409, 429 ve 5xx durumları); hatalı bir istek her zaman aynı şekilde başarısız olur. Ve sunucu bir retry-after header gönderdiğinde, kendi backoff değerin yerine en az o kadar süre bekle. Resmi SDK zaten her ikisini de varsayılan olarak iki kez yapıyor, bu yüzden pratikte genellikle bu döngüyü kendin yazmak yerine max_retries ayarlarını yaparsın.
fn() fonksiyonunu çağıran ve hata aldığında tekrar deneyen retry_call(fn, max_attempts, base_delay, retryable=None) yaz. Ancak sadece tekrar denemeye değer hataları işle: Eğer retryable (istisnadan True/False döndüren bir fonksiyon) verilirse ve False döndürürse, başka bir deneme yapmadan hemen tekrar hata fırlat. retryable=None ile her istisna tekrar edilebilir sayılır. Bu fonksiyon, her denemeden önce uyumadan exponential backoff gecikmesi base_delay * 2 ** attempt değerini kaydeder. Başarı durumunda {"value", "attempts", "delays"} döndür; max_attempts çağrıları tamamı başarısız olduğunda tekrar hata fırlat. N-1 kez başarısız olup sonra başarılı olan bir fonksiyon değeri döndürür; kaydedilen gecikmeler exponential referansa eşit olur; hiç başarısız olmayan bir fonksiyon tam olarak bir kez çağrılır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.