Probeer weer met Eksponensiële Terugtrekking
Die eerste ding wat die regte wêreld vir 'n LLM-app leer, is dat roepe fail. 'n Rate limit, 'n verbroke konneksie, 'n 503 van die verskaffer -> geen van hierdie beteken jou code is verkeerd nie, dit beteken jy moet 'n oomblik wag en weer probeer. Die standaardpatroon is retry with exponential backoff: by elke fout wag jy langer voor die volgende poging, sodat 'n kort hikkie vinnig herstel word terwyl 'n sukkelende diens nie onder druk geplaas word nie.
Die vertraging tussen herproepe verdubbel elke keer. As die basiese vertraging 0.5 sekondes is, wag jy 0.5, dan 1.0, dan 2.0, en so voort -> die formule is base_delay * 2 ** attempt waar attempt die nul-gebaseerde herproepnommer is. Na 'n vaste aantal pogings gee jy op en laat die fout voortgaan, want om vir ewig te herprobeer verberg net 'n werklike onderbreking.
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...In produksie is die wagtyd 'n regte time.sleep(delay), en rondom 'n on-device WebLLM engine sou jy dieselfde retry loop oor engine.chat.completions.create(...) omsluit. Maar slaap maak 'n toets stadig en onbetroubaar, so hier slaap jy glad nie nie: jy record die vertragings wat jy sou gewag het en gee hulle terug. Dit hou die hele ding deterministies en onmiddellik toetsbaar, terwyl die logika -> tel pogings, bereken backoff, gee op by die limiet -> presies is wat verskik.
Een werklike verfyning om te weet: om net die vertraging te verdubbel, laat elke kliënt wat op dieselfde oomblik gefaal het, in sinkronisasie probeer, waar almal gelyk saam opwaak en die diens weer oorlaai ( 'n "thundering herd"). Produksiekode voeg jitter by -> 'n bietjie willeke sodat die herproewe versprei, gewoonlik deur 'n willeke hoeveelheid tot by die berekende vertraging te laat slaap ("full jitter", bv. time.sleep(random.uniform(0, delay))). Ons hou die gegradeerde funksie deterministies en rekord die presiese base_delay * 2 ** attempt waardes; jitter is die produksieverfyning wat jy bo-op sou byvoeg, nie deel van die oefening nie.
Boue retry_call(fn, max_attempts, base_delay). Roep fn(). As dit terugkeer, gee 'n dict {"value": result, "attempts": how_many_calls, "delays": [...]} terug. As dit 'n fout weerspieël, rekord die backoff delay base_delay * 2 ** attempt (moenie slaap nie) en probeer weer, tot by max_attempts totale oproepe. As die finale poging steeds 'n fout weerspieël, laat daardie exception voortgaan. 'n Callable wat nooit faal nie, word presies een keer met 'n leë delay-lys geroep. Twee reëls van regte kliënte hoort ook hier. Herprobeer net tydelike foute (die 408, 409, 429 en 5xx statusse van die calling-llms module); 'n foutiewe versoek faal elke keer op dieselfde manier. En wanneer die bediener 'n retry-after header stuur, wag ten minste so lank in plaas van jou eie backoff. Die amptelike SDK doen reeds albei, twee keer by verstek, so in die praktyk pas jy gewoonlik max_retries aan eerder as om hierdie loop self te skryf.
Skryf retry_call(fn, max_attempts, base_delay, retryable=None) wat fn() aanroep en probeer weer wanneer dit opstaan, maar net foute wat die moeite werd om te probeer: as retryable gegee word ( 'n funksie vanaf die uitsondering na True/False) en False teruggee, gooi dit onmiddellik weer op sonder 'n ander poging. Met retryable=None tel elke uitsondering as herprobeerbaar. Dit rekord die eksponensiële terugtrek-vertraging base_delay * 2 ** attempt voor elke herproef sonder om te slaap. Gee {"value", "attempts", "delays"} terug by sukses; gooi weer op sodra max_attempts aanroepe al gefaal het. 'n fn wat N-1 keer faal en dan suksesvol is, gee die waarde terug; die rekordeerde vertragings is gelyk aan die eksponensiële verwysing; 'n fn wat nooit faal nie, word presies een keer aangeroep.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.