シラバス レッスン 250 中 187 · 本番のパターン:再試行、非同期、ストリーミング、メモリ
本番のパターン:再試行、非同期、ストリーミング、メモリ

並行するバッチ呼び出し(上限付きの扇形展開)

千個のプロンプトの答えが必要なとき、モデルを 1 回ずつ呼んでそれぞれの返答を待つのは、うんざりするほど遅いです。本物のアプリはたくさんのリクエストを並行して送ります -> ただし無制限ではありません:どの提供元も同時に処理中にできる呼び出しの数に上限を設けているので、仕事を決まった大きさのバッチで処理します。並行性を厄介にする事実が 2 つあり、どちらもここに現れます。

  • 結果は順番どおりに戻ってこない。短いプロンプトは、先に送った長いプロンプトより早く終わることがあります。コードは、誰が先に終わったかではなく、元の入力の位置で答えを組み立て直さなければなりません。
  • スループットは上限で決まる。プロンプトが n 個で上限が c なら、ceil(n / c) 個のバッチを実行します -> あらゆる容量計画の土台になる数です。

本番の版では asyncio と本物のネットワーククライアントを使うでしょう。この最初の版をわかりやすくするために、ふつうの関数とスケジューリングのループで同じ形をモデル化します -> イベントループなし、ネットワークなし、本物のモデルなし。参考までに、本物の形、つまりライブのイベントループでの同じロジックを示します:

import asyncio

async def run_batch(prompts, worker, cap=4):
    sem = asyncio.Semaphore(cap)            # the concurrency cap
    async def one(i):
        async with sem:                     # at most cap in flight
            return i, await worker(prompts[i])
    pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
    results = [None] * len(prompts)
    for i, r in pairs:                       # reassemble by ORIGINAL index
        results[i] = r["result"]
    return results

Semaphore が上限を守らせ、gather が呼び出しを一緒に実行し、それでも各答えを元の枠に書き戻します。これから作るバッチとの違いに 1 つ注目しましょう:セマフォなら、どれかの呼び出しが終わった瞬間に新しい呼び出しが始まるので、常に最大 cap 個が処理中になりますが、決まったバッチでは、各バッチのいちばん遅い呼び出しを待ってから次を始めます。セマフォの版のほうが速く、バッチのほうが考えやすいのです。非同期のコードもテストできます(asyncio.run と偽のワーカーで)が、ここではロジックが見えるままになるように、ふつうのスケジューラーでバッチの版を作ります。worker(prompt) はモデルの呼び出しの代わりで、{"result": ..., "cost": ...} を返します。cost はその要素にどれくらい時間がかかるかを表します。結果の組み立てがこっそりそれに頼っていないことを証明するために、各バッチをわざと違うコストの順番でスケジュールします。

for start in range(0, len(prompts), cap):
    window = range(start, min(start + cap, len(prompts)))
    # work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
    ...

run_batch(prompts, worker, cap=4) を作ってください。大きさ cap のバッチで、すべてのプロンプトに worker を適用し、{"results": [...], "batches": n_batches} を返します。results[i] は prompts[i] のワーカーの結果(入力の順番を保つ)で、batches は ceil(len(prompts) / cap) です。空のプロンプトのリストなら、0 個のバッチを実行します。

あなたの番

cap 個ずつのバッチで、すべてのプロンプトに(モックの)worker を適用し、{"results", "batches"} を返す run_batch(prompts, worker, cap=4) を書いてください。各要素は、スケジュールに使ってよい違う cost を持っていますが、results は入力の順番でなければなりません。batches は ceil(len(prompts) / cap) です。ふつうの関数とスケジューリングのループを使います -> asyncio なし、ネットワークなし。2 つ目の異なる入力の組からは違う結果ができなければならず、空のリストでは 0 個のバッチを実行します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。