Programma Les 121 van 250 · Een echt LLM aanroepen
Een echt LLM aanroepen

API-fouten afhandelen

Echte netwerkoproepen falen, en een productie LLM client leeft of sterft door hoe hij reageert. Het meest nuttige instinct is om fouten in twee bakken te verdelen: die het waard zijn om retrying (een tijdelijke hiccup die waarschijnlijk overgaat) en die je moet fix in the request (een bug in je call die geen hoeveelheid retrying zal helpen). De HTTP status code vertelt je in welke bak je zit.

In echte code vang je de getypte exceptions van de SDK, die elk een .status_code (alleen ter illustratie -> we roepen het netwerk niet aan):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

De emmers, per statuscode:

  • Retry -> 408 (request timeout), 409 (conflict), 429 (rate limited), en elke serverfout van 500 tot 599, zoals 502, 503 (unavailable) of 529 (overloaded). Deze zijn tijdelijk: wacht, en probeer het dan opnieuw. Als de respons een retry-after header bevat, wacht dan minstens zo lang.
  • Corrigeer de aanvraag -> 400 (bad request), 401 (bad API key), 403 (forbidden), 404 (wrong model or path). Het opnieuw proberen van een verkeerde aanroep verbruikt alleen quota.
  • Unknown -> iets anders (inclusief een succes zoals 200): ga er niet vanuit dat het veilig is om het opnieuw te proberen.

Je bouwt twee kleine functies. classify_error(status) geeft de bucket naam terug: "retry", "fix-request", of "unknown". should_retry(status) geeft de boolean terug -> True precies wanneer de status in de retry set staat, anders False.

Deze les bepaalt of je opnieuw moet proberen; de wachttijd tussen pogingen is een vaardigheid op zich. De production-patterns module behandelt exponential backoff (verdubbel de vertraging bij elke poging: 1s, 2s, 4s ...), en daarop voeg je jitter toe -> een kleine willekeurige hoeveelheid extra wachttijd -> zodat een vloot van clients die tegelijkertijd worden afgewezen niet allemaal op hetzelfde moment opnieuw proberen en de server weer overbelasten (de "thundering herd"). Bouw het zo dat de status tabel verschillende antwoorden geeft (429 -> retry, 400 -> fix-request, 200 -> unknown), wat betekent dat geen enkele constante kan slagen.

Jij bent aan de beurt

Schrijf classify_error(status) die "retry" retourneert voor 408 (request timeout), 409 (conflict), 429 (rate limited) en elke serverfout van 500 tot 599 (529 betekent overloaded), "fix-request" voor {400, 401, 403, 404}, en "unknown" voor alles wat overblijft. Schrijf should_retry(status) die de boolean True retourneert precies wanneer classify_error(status) is "retry", anders False. (Dit is dezelfde regel die de officiële Anthropic SDK gebruikt: het probeert deze statussen, en verbindingsfouten, standaard twee keer opnieuw, en wacht zolang een retry-after header vraagt. In echte code configureer je meestal max_retries in plaats van dit zelf te schrijven; het één keer schrijven laat zien wat het doet.)

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.