指数バックオフ付きの再試行
現実の世界が LLM アプリに最初に教えるのは、呼び出しは失敗するということです。レート制限、切れた接続、提供元からの 503 -> どれもあなたのコードが間違っているという意味ではなく、少し待ってからもう一度試すべきだという意味です。標準的なパターンは指数バックオフ付きの再試行です:失敗するたびに次の試行までより長く待つので、ちょっとしたしゃっくりはすぐに回復し、苦しんでいるサービスを叩き続けることもありません。
再試行のあいだの遅延は毎回 2 倍になります。基本の遅延が 0.5 秒なら、0.5、次に 1.0、次に 2.0、というように待ちます -> 式は base_delay * 2 ** attempt で、attempt は 0 始まりの再試行の番号です。決まった回数試したらあきらめ、エラーをそのまま伝えます。永遠に再試行すると、本物の障害を隠すだけだからです。
for attempt in range(max_attempts):
try:
return call_the_model()
except Exception:
# last attempt? re-raise. otherwise wait base_delay * 2**attempt
...本番では待ち時間は本物の time.sleep(delay) で、デバイス上の WebLLM エンジンのまわりでは、同じ再試行のループで engine.chat.completions.create(...) を包むでしょう。でも sleep するとテストが遅く不安定になるので、ここではまったく sleep しません:待ったはずの遅延を記録して返すのです。これで全体が決定的で、すぐにテストできるものになり、しかもロジック -> 試行を数え、バックオフを計算し、上限であきらめる -> は、まさに出荷するものと同じです。
知っておくべき現実の改良が 1 つあります:遅延を 2 倍にするだけだと、同じ瞬間に失敗したすべてのクライアントが足並みをそろえて再試行し、いっせいに目覚めてまたサービスに押し寄せます(「群れの殺到」)。本番のコードはジッターを加えます -> 再試行がばらけるように少しランダムさを入れるのです。よくあるのは、計算した遅延までのランダムな時間だけ sleep するやり方です(「フルジッター」、例:time.sleep(random.uniform(0, delay)))。採点する関数は決定的なままにして、正確な base_delay * 2 ** attempt の値を記録します。ジッターはその上に重ねる本番の改良で、演習の一部ではありません。
retry_call(fn, max_attempts, base_delay) を作ってください。fn() を呼びます。返ってきたら、辞書 {"value": result, "attempts": how_many_calls, "delays": [...]} を返します。例外が起きたら、バックオフの遅延 base_delay * 2 ** attempt を記録し(sleep はしない)、合計で max_attempts 回の呼び出しまで、もう一度試します。最後の試行でもまだ例外が起きたら、その例外をそのまま伝えます。決して失敗しない呼び出し可能なものは、空の遅延のリストでちょうど 1 回呼ばれます。本物のクライアントのルールも 2 つ、ここに当てはまります。再試行するのは一時的な失敗(calling-llms モジュールの 408、409、429、5xx のステータス)だけです。形の崩れたリクエストは毎回同じように失敗します。そしてサーバーが retry-after ヘッダーを送ってきたら、自分のバックオフの代わりに少なくともその時間は待ちます。公式の SDK はすでに両方を、既定で 2 回やってくれるので、実際にはこのループを自分で書くより max_retries を調整することのほうが多いでしょう。
fn() を呼び、例外が起きたら再試行する retry_call(fn, max_attempts, base_delay, retryable=None) を書いてください。ただし再試行するのは、再試行する価値のあるエラーだけです:retryable(例外から True/False への関数)が与えられていて False を返したら、もう試行せずにすぐ例外を送出し直します。retryable=None なら、すべての例外を再試行できるものとして数えます。各再試行の前に、sleep せずに指数バックオフの遅延 base_delay * 2 ** attempt を記録します。成功したら {"value", "attempts", "delays"} を返し、max_attempts 回の呼び出しがすべて失敗したら例外を送出し直します。N-1 回失敗してから成功する fn は値を返し、記録した遅延は指数の参照と等しく、決して失敗しない fn はちょうど 1 回呼ばれます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。