Повтор с экспоненциальной задержкой
Первое, чему реальный мир учит приложение на базе LLM, это то, что вызовы fail. Лимит запросов, потерянное соединение, ошибка 503 от провайдера -> ни одно из этого не означает, что ваш код неправильный, это значит, что нужно подождать немного и попробовать снова. Стандартный паттерн это повтор с экспоненциальной задержкой: при каждом сбое вы ждете дольше перед следующей попыткой, поэтому короткий сбой восстанавливается быстро, а испытывающий трудности сервис не перегружается.
Задержка между повторными попытками удваивается каждый раз. Если базовая задержка составляет 0.5 секунд, вы ждете 0.5, затем 1.0, затем 2.0 и так далее -> формула base_delay * 2 ** attempt, где attempt это номер попытки с нулевым индексом. После фиксированного количества попыток вы сдаетесь и позволяете ошибке распространиться, потому что бесконечные повторы просто скрывают реальный сбой.
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...В продакшене ожидание это реальный time.sleep(delay), и вокруг движка WebLLM на устройстве вы бы оборачивали тот же retry loop вокруг engine.chat.completions.create(...). Но сон делает тест медленным и нестабильным, поэтому здесь вы вообще не спите: вы record задержки, которые вы бы ждали, и возвращаете их. Это делает всю вещь детерминированной и мгновенно тестируемой, в то время как логика -> count attempts, compute backoff, give up at the limit -> это именно то, что пойдет в релиз.
Один важный нюанс из реальной практики: простое удвоение задержки заставляет всех клиентов, которые упали в один момент, повторять попытки синхронно. Они просыпаются вместе и снова нагружают сервис (эффект "thundering herd"). Продакшн код добавляет jitter -> небольшую случайность, чтобы попытки распределялись во времени. Обычно это делается через sleep случайного количества до вычисленной задержки ("full jitter", например time.sleep(random.uniform(0, delay))). Мы оставляем оцениваемую функцию детерминированной и записываем точные значения base_delay * 2 ** attempt; jitter это улучшение для продакшна, которое вы бы добавили сверху, оно не является частью упражнения.
Постройте retry_call(fn, max_attempts, base_delay). Вызовите fn(). Если он возвращает значение, отдайте словарь {"value": result, "attempts": how_many_calls, "delays": [...]}. Если он вызывает исключение, запишите задержку backoff base_delay * 2 ** attempt (не используйте sleep) и попробуйте снова, до max_attempts общего количества вызовов. Если финальная попытка все еще вызывает исключение, дайте этому исключению распространиться. Callable, который никогда не дает сбоя, вызывается ровно один раз с пустым списком задержек. Два правила от реальных клиентов тоже относятся к этому разделу. Повторяйте только временные сбои (статусы 408, 409, 429 и 5xx из модуля calling-llms); некорректный запрос дает сбой одинаково каждый раз. И когда сервер отправляет заголовок retry-after, ждите как минимум столько времени вместо вашей собственной задержки backoff. Официальный SDK уже делает и то, и другое, дважды по умолчанию, поэтому на практике вы обычно настраиваете max_retries вместо того, чтобы писать этот цикл самостоятельно.
Напишите retry_call(fn, max_attempts, base_delay, retryable=None), который вызывает fn() и повторяет попытку при ошибке, но только если она стоит того: если дано retryable (функция из исключения в True/False) и она возвращает False, выбрасывайте ошибку сразу без повторной попытки. С retryable=None каждое исключение считается подходящим для повтора. Он и записывает задержку экспоненциального отката base_delay * 2 ** attempt перед каждой попыткой БЕЗ сна. Возвращайте {"value", "attempts", "delays"} при успехе; выбрасывайте ошибку снова, когда все вызовы max_attempts завершились неудачей. Функция, которая терпит N-1 неудач, а затем преуспевает, возвращает значение; записанные задержки равны экспоненциальной ссылке; функция, которая никогда не дает сбоя, вызывается ровно один раз.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.