Программа курса Урок 186 из 250 · Паттерны для продакшена: Retries, Async, Streaming и Memory
Паттерны для продакшена: Retries, Async, Streaming и Memory

Повтор с экспоненциальной задержкой

Первое, чему реальный мир учит приложение на базе LLM, это то, что вызовы fail. Лимит запросов, потерянное соединение, ошибка 503 от провайдера -> ни одно из этого не означает, что ваш код неправильный, это значит, что нужно подождать немного и попробовать снова. Стандартный паттерн это повтор с экспоненциальной задержкой: при каждом сбое вы ждете дольше перед следующей попыткой, поэтому короткий сбой восстанавливается быстро, а испытывающий трудности сервис не перегружается.

Задержка между повторными попытками удваивается каждый раз. Если базовая задержка составляет 0.5 секунд, вы ждете 0.5, затем 1.0, затем 2.0 и так далее -> формула base_delay * 2 ** attempt, где attempt это номер попытки с нулевым индексом. После фиксированного количества попыток вы сдаетесь и позволяете ошибке распространиться, потому что бесконечные повторы просто скрывают реальный сбой.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

В продакшене ожидание это реальный time.sleep(delay), и вокруг движка WebLLM на устройстве вы бы оборачивали тот же retry loop вокруг engine.chat.completions.create(...). Но сон делает тест медленным и нестабильным, поэтому здесь вы вообще не спите: вы record задержки, которые вы бы ждали, и возвращаете их. Это делает всю вещь детерминированной и мгновенно тестируемой, в то время как логика -> count attempts, compute backoff, give up at the limit -> это именно то, что пойдет в релиз.

Один важный нюанс из реальной практики: простое удвоение задержки заставляет всех клиентов, которые упали в один момент, повторять попытки синхронно. Они просыпаются вместе и снова нагружают сервис (эффект "thundering herd"). Продакшн код добавляет jitter -> небольшую случайность, чтобы попытки распределялись во времени. Обычно это делается через sleep случайного количества до вычисленной задержки ("full jitter", например time.sleep(random.uniform(0, delay))). Мы оставляем оцениваемую функцию детерминированной и записываем точные значения base_delay * 2 ** attempt; jitter это улучшение для продакшна, которое вы бы добавили сверху, оно не является частью упражнения.

Постройте retry_call(fn, max_attempts, base_delay). Вызовите fn(). Если он возвращает значение, отдайте словарь {"value": result, "attempts": how_many_calls, "delays": [...]}. Если он вызывает исключение, запишите задержку backoff base_delay * 2 ** attempt (не используйте sleep) и попробуйте снова, до max_attempts общего количества вызовов. Если финальная попытка все еще вызывает исключение, дайте этому исключению распространиться. Callable, который никогда не дает сбоя, вызывается ровно один раз с пустым списком задержек. Два правила от реальных клиентов тоже относятся к этому разделу. Повторяйте только временные сбои (статусы 408, 409, 429 и 5xx из модуля calling-llms); некорректный запрос дает сбой одинаково каждый раз. И когда сервер отправляет заголовок retry-after, ждите как минимум столько времени вместо вашей собственной задержки backoff. Официальный SDK уже делает и то, и другое, дважды по умолчанию, поэтому на практике вы обычно настраиваете max_retries вместо того, чтобы писать этот цикл самостоятельно.

Твоя очередь

Напишите retry_call(fn, max_attempts, base_delay, retryable=None), который вызывает fn() и повторяет попытку при ошибке, но только если она стоит того: если дано retryable (функция из исключения в True/False) и она возвращает False, выбрасывайте ошибку сразу без повторной попытки. С retryable=None каждое исключение считается подходящим для повтора. Он и записывает задержку экспоненциального отката base_delay * 2 ** attempt перед каждой попыткой БЕЗ сна. Возвращайте {"value", "attempts", "delays"} при успехе; выбрасывайте ошибку снова, когда все вызовы max_attempts завершились неудачей. Функция, которая терпит N-1 неудач, а затем преуспевает, возвращает значение; записанные задержки равны экспоненциальной ссылке; функция, которая никогда не дает сбоя, вызывается ровно один раз.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.