シラバス レッスン 250 中 226 · プロジェクト:本番用 AI ゲートウェイ
プロジェクト:本番用 AI ゲートウェイ

処理に振り分ける + フォールバック

分類器は、リクエストが 何を 求めているかを教えてくれました。今度はゲートウェイがそれを使って 何かをする 番です。適切なコードに手渡すのです。それが 振り分け(ルーティング) で、本番では、ひとつの意図がひとつの関数に対応するほど単純であることはまずありません。サービスは落ちます。天気の提供元はタイムアウトします。あなたの仕事は、ゲートウェイを回復力のあるものにして、不安定な依存先ひとつのせいでリクエスト全体が道連れにならないようにすることです。

パターンは フォールバックの連鎖 です。各意図は、試す処理の順序付きリストに対応します。最初のものが優先される処理で、それが失敗したら次へ滑り落ち、最後の輪は必ず、失敗しようのない汎用の fallback です。未知の意図はまっすぐそのフォールバックへ進みます。採用担当者はこれを「穏やかな機能低下を理解している」と読みます。信頼性の仕事の大部分は、実はそれなのです。

次のような振り分け表の上に、2 つの関数を作ります:

ROUTES = {
    "weather": ["weather_api", "weather_cache", "fallback"],
    "account": ["account_service", "fallback"],
    "billing": ["billing_service", "fallback"],
}
  • route(intent) -> ある意図の 第一の 処理の名前(その連鎖の最初の輪)。表にない意図は "fallback" に振り分けます。
  • handle(request, handlers) -> リクエストは {"intent": ..., "text": ...} のような辞書で、handlers は名前を呼び出し可能なものに対応づけます。意図の連鎖を順にたどり、各処理を try し、例外を投げなかった最初のもの の結果を返します。どの処理が勝ったかを報告します。例:{"handler": name, "result": ...}。

その中心は、クラッシュした処理を捕まえて先へ進めるための、try/except を含むループです:

for name in chain_for(intent):
    fn = handlers.get(name)
    if fn is None:
        continue
    try:
        result = fn(request)
        return {"handler": name, "result": result}
    except Exception:
        continue   # this handler is down, slide to the next link

連鎖は必ず fallback で終わるので、リクエストに応えられないのは、フォールバックまで欠けているか壊れているときだけです。Run を押していくつかのリクエストを振り分け、わざと壊した第一の処理を持つリクエストが次の輪へ落ちていくのを見てみましょう。

あなたの番

ある意図の第一の処理の名前(そのフォールバックの連鎖の最初の要素。未知の意図 -> "fallback")を返す route(intent) を書いてください。request が {"intent", "text"} で、handlers が名前を呼び出し可能なものに対応づける handle(request, handlers) を書きます。意図の連鎖をたどり、各処理を順に try し、例外を投げなかった最初のものについて {"handler": name, "result": ...} を返します。未知の意図や失敗した第一の処理は、連鎖を下ってフォールバックしなければなりません(連鎖は必ず fallback で終わります)。連鎖のすべての処理が例外を投げた(または存在しない)場合も、例外は投げずに {"handler": None, "result": None} を返して、呼び出し側が親切なエラーを表示できるようにします。試した処理の trace のような追加のキーは構いません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。