Программа курса Урок 121 из 250 · Вызов реальной LLM
Вызов реальной LLM

Обработка ошибок API

Реальные сетевые вызовы могут давать сбои, и жизнь или смерть клиента LLM в продакшене зависит от того, как он на это реагирует. Самый полезный инстинкт заключается в том, чтобы разделить ошибки на две группы: те, которые стоит повторять (временный сбой, который, вероятно, пройдет) и те, которые вы должны исправлять в самом запросе (баг в вашем вызове, который никакое количество повторов не поможет исправить). Код состояния HTTP говорит вам, в какой группе вы находитесь.

В реальном коде вы ловите типизированные исключения SDK, каждое из которых несет .status_code(только для иллюстрации -> мы не вызываем сеть):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

Корзины по коду статуса:

  • Retry -> 408 (request timeout), 409 (conflict), 429 (rate limited), и любая ошибка сервера от 500 до 599, такая как 502, 503 (unavailable) или 529 (overloaded). Это временные ошибки: подождите, затем попробуйте снова. Когда ответ содержит заголовок retry-after, подождите как минимум столько времени.
  • Исправьте запрос -> 400 (bad request), 401 (bad API key), 403 (forbidden), 404 (wrong model or path). Повторный вызов некорректного запроса просто тратит квоту.
  • Unknown -> что-то другое (включая успех вроде 200): не считайте, что повтор безопасен.

Вы создаете две маленькие функции. classify_error(status) возвращает имя корзины: "retry", "fix-request" или "unknown". should_retry(status) возвращает boolean -> True именно тогда, когда статус находится в наборе повторов, иначе False.

Этот урок определяет будьте ли нужно повторить попытку; ожидание между попытками это отдельный навык. Модуль production-patterns охватывает экспоненциальную задержку (удвоение задержки при каждой попытке: 1с, 2с, 4с ...), и сверху вы добавляете jitter -> небольшое случайное количество дополнительного ожидания -> чтобы группа клиентов, получивших отказ в один момент, не повторяли попытки одновременно и не создавали нагрузку на сервер (эффект "thundering herd"). Постройте это так, чтобы таблица статусов выдавала несколько разных ответов (429 -> retry, 400 -> fix-request, 200 -> unknown), что значит, что ни одна константа не подойдет.

Твоя очередь

Напишите classify_error(status), возвращающий "retry" для 408 (request timeout), 409 (conflict), 429 (rate limited) и каждой ошибки сервера от 500 до 599 (529 означает overloaded), "fix-request" для {400, 401, 403, 404}, и "unknown" для всего остального. Напишите should_retry(status), возвращающий булево значение True именно тогда, когда classify_error(status) равно "retry", иначе False. (Это то же правило, которое использует официальный Anthropic SDK: он повторяет эти статусы, а также ошибки соединения, дважды по умолчанию, и ждет столько, сколько просит заголовок retry-after. В реальном коде вы чаще настраиваете max_retries, чем пишете это сами; написание этого один раз показывает, как это работает.)

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.