课程大纲 第 121 课,共 250 课 · 调用真正的 LLM
调用真正的 LLM

处理 API 错误

真实的网络调用会失败,一个生产环境的 LLM 客户端成败就在于它如何应对。最有用的本能是把失败分成两类:值得重试的(一次很可能会自己消失的短暂故障),和必须修改请求的(你的调用里有 bug,重试多少次都没用)。HTTP 状态码会告诉你属于哪一类。

在真实代码里,你捕获 SDK 的有类型异常,每个都带有一个 .status_code(仅作示意,我们不访问网络):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

按状态码分类:

  • 重试:408(请求超时)、409(冲突)、429(限流),以及从 500 到 599 的任何服务器错误,比如 502、503(不可用)或 529(过载)。这些是暂时的:等一等,然后再试。当响应带有 retry-after 头时,至少等待那么久。
  • 修改请求:400(错误的请求)、401(错误的 API 密钥)、403(禁止访问)、404(错误的模型或路径)。重试一个格式错误的调用只会浪费配额。
  • 未知:其他任何情况(包括像 200 这样的成功):不要假设重试是安全的。

你要构建两个小函数。classify_error(status) 返回类别名:"retry"、"fix-request" 或 "unknown"。should_retry(status) 返回布尔值:状态在重试集合里时恰好为 True,否则为 False。

这一课决定是否重试;两次尝试之间的等待是另一项技能。production-patterns 模块会讲指数退避(每次尝试把延迟翻倍:1 秒、2 秒、4 秒……),在此之上你还要加上抖动,也就是一小段随机的额外等待,这样一群同时被拒的客户端就不会全都在同一个节拍上重试,再次挤垮服务器("惊群")。把它构建成这样:状态表会产生好几种不同的答案(429 -> retry,400 -> fix-request,200 -> unknown),也就是说任何单个常量都蒙混不过去。

轮到你了

写 classify_error(status):对 408(请求超时)、409(冲突)、429(限流)以及从 500 到 599 的每个服务器错误(529 表示过载)返回 "retry",对 {400, 401, 403, 404} 返回 "fix-request",其他任何情况返回 "unknown"。写 should_retry(status):恰好在 classify_error(status) 为 "retry" 时返回布尔值 True,否则返回 False。(这和官方 Anthropic SDK 使用的规则相同:它默认对这些状态以及连接错误重试两次,并按 retry-after 头要求的时间等待。在真实代码里你大多是配置 max_retries,而不是自己写这个;亲手写一次能让你看清它在做什么。)

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。