带指数退避的重试
真实世界教给 LLM 应用的第一件事,就是调用会失败。限流、断开的连接、提供商返回的 503:这些都不意味着你的代码错了,而意味着你应该等一会儿再试。标准的模式是带指数退避的重试:每次失败后,你在下一次尝试之前等得更久一些,这样短暂的故障能很快恢复,而一个正在挣扎的服务也不会被猛烈冲击。
两次重试之间的延迟每次翻倍。如果基础延迟是 0.5 秒,你就等 0.5,然后 1.0,然后 2.0,依此类推:公式是 base_delay * 2 ** attempt,其中 attempt 是从零开始的重试序号。在固定的尝试次数之后你就放弃,让错误传播出去,因为永远重试只会掩盖一次真正的故障。
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...在生产环境里,等待是一次真正的 time.sleep(delay),而对于一个设备端的 WebLLM 引擎,你会用同样的重试循环包住 engine.chat.completions.create(...)。但睡眠会让测试又慢又不稳定,所以这里你根本不睡:你记录本来会等待的延迟并返回它们。这让整个东西保持确定性、可以瞬间测试,而它的逻辑(数尝试次数、计算退避、到上限就放弃)正是要上线的那套。
一个要了解的真实世界改进:单纯把延迟翻倍,会让每个在同一时刻失败的客户端步调一致地重试,全都同时醒来,再次猛烈冲击服务("惊群")。生产代码会加上抖动:一点随机性,让重试分散开来,常见的做法是睡眠一个不超过计算出的延迟的随机时长("完全抖动",例如 time.sleep(random.uniform(0, delay)))。我们让评分的函数保持确定性,并记录准确的 base_delay * 2 ** attempt 值;抖动是你会叠加在上面的生产改进,不是练习的一部分。
构建 retry_call(fn, max_attempts, base_delay)。调用 fn()。如果它返回了,就交回一个字典 {"value": result, "attempts": how_many_calls, "delays": [...]}。如果它抛出异常,就记录退避延迟 base_delay * 2 ** attempt(不要睡眠)并再试一次,总共最多调用 max_attempts 次。如果最后一次尝试仍然抛出异常,就让那个异常传播出去。一个从不失败的可调用对象恰好被调用一次,延迟列表为空。真实客户端的两条规则也属于这里。只重试暂时性的失败(calling-llms 模块里的 408、409、429 和 5xx 状态);一个格式错误的请求每次都会以同样的方式失败。而当服务器发来一个 retry-after 头时,至少等待那么久,而不是用你自己的退避。官方 SDK 已经做到了这两点,默认重试两次,所以实际上你通常是调整 max_retries,而不是自己写这个循环。
写 retry_call(fn, max_attempts, base_delay, retryable=None),调用 fn() 并在它抛出异常时重试,但只重试值得重试的错误:如果给了 retryable(一个从异常映射到 True/False 的函数)而它返回 False,就立即重新抛出,不再尝试。retryable=None 时,每个异常都算可重试的。它在每次重试之前记录指数退避延迟 base_delay * 2 ** attempt,而且不睡眠。成功时返回 {"value", "attempts", "delays"};当 max_attempts 次调用全部失败后重新抛出异常。一个失败 N-1 次然后成功的 fn 会返回那个值;记录的延迟等于指数参考值;一个从不失败的 fn 恰好被调用一次。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。