课程大纲 第 226 课,共 250 课 · 项目:生产环境的 AI 网关
项目:生产环境的 AI 网关

路由到处理函数 + 兜底

分类器告诉了你请求想要什么。现在网关必须对它做点什么:把它交给正确的那段代码。这就是路由,而在生产环境里,它从来不像一个意图对应一个函数那么简单。服务会宕机。天气提供商会超时。你的任务是让网关有韧性,这样一个不稳定的依赖就不会拖垮整个请求。

这个模式是一条兜底链:每个意图对应一个要按顺序尝试的处理函数列表。第一个是首选的处理函数;如果它失败了,你就滑到下一个,而最后一环总是一个不会失败的通用 fallback。未知的意图直接跳到那个兜底。招聘经理会把这读作"懂得优雅降级",而可靠性工作的大部分其实就是这个。

你要在一张像这样的路由表上写两个函数:

ROUTES = {
    "weather": ["weather_api", "weather_cache", "fallback"],
    "account": ["account_service", "fallback"],
    "billing": ["billing_service", "fallback"],
}
  • route(intent) -> 一个意图的首选处理函数的名字(它链条上的第一环)。不在表里的意图路由到 "fallback"。
  • handle(request, handlers) -> request 是一个像 {"intent": ..., "text": ...} 这样的字典,handlers 把一个名字映射到一个可调用对象。按顺序走过这个意图的链条,try 每个处理函数,并返回第一个没有抛出异常的处理函数的结果。报告是哪个处理函数胜出,例如 {"handler": name, "result": ...}。

它的核心是一个带 try/except 的循环,这样崩溃的处理函数会被捕获,你继续往下走:

for name in chain_for(intent):
    fn = handlers.get(name)
    if fn is None:
        continue
    try:
        result = fn(request)
        return {"handler": name, "result": result}
    except Exception:
        continue   # this handler is down, slide to the next link

因为链条总是以 fallback 结尾,只有当连兜底都缺失或坏掉时,一个请求才无法被处理。按 Run 路由几个请求,然后看一个首选处理函数被故意弄坏的请求落到下一环。

轮到你了

写 route(intent),返回一个意图的首选处理函数名(它兜底链的第一项;未知的意图 -> "fallback")。写 handle(request, handlers),其中 request 是 {"intent", "text"},handlers 把一个名字映射到一个可调用对象:走过这个意图的链条,按顺序 try 每个处理函数,并为第一个没有抛出异常的返回 {"handler": name, "result": ...}。未知的意图和失败的首选处理函数必须沿着链条往下兜底(链条总是以 fallback 结尾)。如果链条里的每个处理函数都抛出异常(或缺失),不要抛出异常:返回 {"handler": None, "result": None},这样调用者可以显示一个友好的错误。允许有额外的键,比如记录尝试过的处理函数的 trace。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。