Opnieuw proberen met exponentiële backoff
Het eerste wat de echte wereld een LLM app leert is dat calls fail. Een rate limit, een verloren verbinding, een 503 van de provider -> geen van deze betekent dat je code fout is, ze betekenen dat je een moment moet wachten en het opnieuw moet proberen. Het standaard patroon is retry with exponential backoff: bij elke fout wacht je langer voor de volgende poging, zodat een korte storing snel herstelt terwijl een worstelende service niet wordt overbelast.
De vertraging tussen pogingen verdubbelt elke keer. Als de basisvertraging 0.5 seconden is, wacht je 0.5, dan 1.0, dan 2.0, enzovoort -> de formule is base_delay * 2 ** attempt waar attempt het nul-gebaseerde pogingnummer is. Na een vast aantal pogingen geef je het op en laat je de fout doorgaan, omdat oneindig blijven proberen alleen een echte storing verbergt.
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...In productie is het wachten een echte time.sleep(delay), en rond een on-device WebLLM engine zou je dezelfde retry loop over engine.chat.completions.create(...) wrappen. Maar slapen maakt een test traag en onbetrouwbaar, dus hier slaap je helemaal niet: je record de vertragingen die je zou hebben afgewacht en geeft deze terug. Dat houdt het geheel deterministisch en direct testbaar, terwijl de logica -> probeert tellen, backoff berekenen, opgeven bij de limiet -> precies is wat wordt geleverd.
Eén echte verfijning voor de praktijk: het alleen verdubbelen van de vertraging zorgt ervoor dat elke client die op hetzelfde moment faalde, in exact hetzelfde ritme opnieuw probeert, waarbij ze allemaal tegelijk wakker worden en de service weer overbelasten (een "thundering herd"). Productiecode voegt jitter toe -> een beetje willekeur zodat de herpogingen verspreid worden, meestal door een willekeurige tijd tot aan de berekende vertraging te laten slapen ("full jitter", bijv. time.sleep(random.uniform(0, delay))). We houden de beoordeelde functie deterministisch en registreren de exacte base_delay * 2 ** attempt waarden; jitter is de productieverfijning die je er bovenop zou leggen, niet onderdeel van de opdracht.
Bouw retry_call(fn, max_attempts, base_delay). Roep fn() aan. Als het terugkeert, geef een dict {"value": result, "attempts": how_many_calls, "delays": [...]} terug. Als het een fout geeft, registreer de backoff delay base_delay * 2 ** attempt (niet slapen) en probeer het opnieuw, tot max_attempts totale aanroepen. Als de laatste poging nog steeds een fout geeft, laat die exception dan doorgaan. Een callable die nooit faalt wordt precies één keer aangeroepen met een lege delay list. Twee regels van echte klanten horen hier ook bij. Probeer alleen tijdelijke fouten opnieuw (de 408, 409, 429 en 5xx statuscodes uit de calling-llms module); een verkeerde aanvraag faalt elke keer op dezelfde manier. En wanneer de server een retry-after header stuurt, wacht je minstens zo lang in plaats van je eigen backoff. De officiële SDK doet dit al, standaard twee keer, dus in de praktijk tune je meestal max_retries in plaats van deze lus zelf te schrijven.
Schrijf retry_call(fn, max_attempts, base_delay, retryable=None) dat fn() aanroept en opnieuw probeert als het een fout geeft, maar alleen fouten die het waard zijn om te herhalen: als retryable wordt gegeven (een functie van de uitzondering naar True/False) en False retourneert, gooi dan direct opnieuw zonder een andere poging. Met retryable=None telt elke uitzondering als herhaalbaar. Het en registreert de exponentiële backoff vertraging base_delay * 2 ** attempt voor elke herhaling ZONDER te slapen. Retourneer {"value", "attempts", "delays"} bij succes; gooi opnieuw zodra alle max_attempts aanroepen zijn mislukt. Een fn die N-1 keer faalt en dan slaagt retourneert de waarde; de geregistreerde vertragingen zijn gelijk aan de exponentiële referentie; een nooit falende fn wordt precies één keer aangeroepen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.