并发的批量调用(有上限的扇出)
当你需要为一千个提示词拿到答案时,一次调用一个模型并等待每个回复会慢得让人痛苦。真实的应用会并发地发出许多请求,但不是没有限制:每个提供商都会限制允许多少个正在进行中的调用,所以你要按固定大小的批次来处理工作。有两个事实让并发变得棘手,这里两者都会出现。
- 结果返回的顺序是乱的。一个短提示词可能比你先发出的长提示词更早完成。你的代码必须按原始的输入位置重新组装答案,而不是按谁先完成。
- 吞吐量受上限约束。有
n个提示词、上限为c时,你要运行ceil(n / c)个批次,这是每个容量规划都围绕的那个数字。
生产版本会使用 asyncio 和一个真正的网络客户端。为了让这第一个版本容易理解,你用普通的函数和一个调度循环来模拟同样的形状:没有事件循环,没有网络,没有真正的模型。下面是真实的形状,作为参考,这是带着真正事件循环的同样逻辑:
import asyncio
async def run_batch(prompts, worker, cap=4):
sem = asyncio.Semaphore(cap) # the concurrency cap
async def one(i):
async with sem: # at most cap in flight
return i, await worker(prompts[i])
pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
results = [None] * len(prompts)
for i, r in pairs: # reassemble by ORIGINAL index
results[i] = r["result"]
return resultsSemaphore 执行上限,gather 把调用放在一起运行,你仍然把每个答案写回它原来的位置。注意它和你即将构建的批次的一个区别:用信号量时,任何一个调用一完成,新的调用就开始,所以总是有最多 cap 个调用在进行中;而固定批次要等每个批次里最慢的那个调用完成后,才开始下一批。信号量版本更快;批次更容易推理。异步代码也可以测试(用 asyncio.run 和假的工作函数);这里你用一个普通的调度器构建批次版本,让逻辑一直摆在眼前。一个 worker(prompt) 代替模型调用,返回 {"result": ..., "cost": ...},其中 cost 代表这一项要花多长时间。你故意让每个批次按不同的成本顺序调度,以证明你的结果组装并不偷偷依赖于它。
for start in range(0, len(prompts), cap):
window = range(start, min(start + cap, len(prompts)))
# work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
...构建 run_batch(prompts, worker, cap=4)。以大小为 cap 的批次把 worker 映射到每个提示词上,并返回 {"results": [...], "batches": n_batches},其中 results[i] 是 prompts[i] 的工作函数结果(保留输入顺序),batches 是 ceil(len(prompts) / cap)。空的提示词列表运行零个批次。
写 run_batch(prompts, worker, cap=4),以 cap 为批次大小把一个(模拟的)worker 映射到每个提示词上,并返回 {"results", "batches"}。results 必须按输入顺序排列,即使每一项都带着一个不同的、你可以据此调度的 cost;batches 是 ceil(len(prompts) / cap)。使用普通的函数和一个调度循环:不用 asyncio,不用网络。第二组不同的输入必须给出不同的结果;空列表运行零个批次。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。