シラバス レッスン 250 中 121 · 本物の LLM を呼ぶ
本物の LLM を呼ぶ

API のエラーを扱う

本物のネットワーク呼び出しは失敗し、本番の LLM クライアントの生死はその反応の仕方にかかっています。いちばん役に立つ直感は、失敗を 2 つのバケツに分けることです:再試行する価値のもの(たぶん晴れる一時的なしゃっくり)と、リクエストを直さなければならないもの(何回再試行しても助からない、呼び出し側のバグ)。どちらのバケツにいるかは HTTP ステータスコードが教えてくれます。

本物のコードでは、それぞれ .status_code を持つ SDK の型付き例外を捕まえます(説明用のみ -> ネットワークは呼びません):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

ステータスコードごとのバケツ:

  • 再試行 -> 408(リクエストのタイムアウト)、409(競合)、429(レート制限)、そして 500 から 599 までのあらゆるサーバーエラー(502、503(利用不可)、529(過負荷)など)。これらは一時的です:待ってから、もう一度試します。レスポンスに retry-after ヘッダーがあれば、少なくともその時間は待ちます。
  • リクエストを直す -> 400(不正なリクエスト)、401(間違った API キー)、403(禁止)、404(間違ったモデルやパス)。形の崩れた呼び出しを再試行しても、割り当てを燃やすだけです。
  • 不明 -> それ以外のすべて(200 のような成功も含む):再試行しても安全だと思い込まないこと。

小さな関数を 2 つ作ります。classify_error(status) はバケツの名前、"retry"、"fix-request"、"unknown" のいずれかを返します。should_retry(status) は真偽値を返します -> ステータスが再試行の集合にあるときちょうど True、そうでなければ False です。

このレッスンで決めるのは再試行するかどうかで、試行のあいだの待ち時間はそれ自体が別の技能です。production-patterns モジュールでは指数バックオフ(試行のたびに遅延を 2 倍にする:1 秒、2 秒、4 秒 ...)を扱い、さらにその上にジッター -> 少しのランダムな追加の待ち時間 -> を加えます。そうすれば、同じ瞬間に押し戻された大勢のクライアントが、同じ拍子でいっせいに再試行してまたサーバーに押し寄せること(「群れの殺到」)がなくなります。ステータスの表がいくつもの違う答え(429 -> retry、400 -> fix-request、200 -> unknown)を返すように作りましょう。つまり、1 つの定数では通りません。

あなたの番

408(リクエストのタイムアウト)、409(競合)、429(レート制限)、そして 500 から 599 までのすべてのサーバーエラー(529 は過負荷)には "retry" を、{400, 401, 403, 404} には "fix-request" を、それ以外には "unknown" を返す classify_error(status) を書いてください。classify_error(status) が "retry" のときちょうど真偽値 True を、そうでなければ False を返す should_retry(status) を書いてください。(これは公式の Anthropic SDK が使っているのと同じルールです:SDK はこれらのステータスと接続エラーを既定で 2 回再試行し、retry-after ヘッダーが求めるだけ待ちます。本物のコードではたいてい、これを自分で書くのではなく max_retries を設定します。一度書いてみると、それが何をしているかがわかります。)

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。