Параллельные пакетные вызовы (ограниченный веерный вызов)
Когда вам нужны ответы на тысячу промптов, вызов модели по одному и ожидание каждого ответа происходит мучительно медленно. Реальные приложения отправляют много запросов concurrently -> но не без ограничений: каждый провайдер ограничивает количество одновременно выполняемых вызовов, поэтому вы обрабатываете работу в batches фиксированного размера. Два факта делают параллелизм сложным, и оба проявляются здесь.
- Результаты приходят в неправильном порядке. Короткий prompt может завершиться раньше длинного, который вы отправили первым. Ваш код должен собрать ответы по их исходная позиция во входе, а не по тому, кто завершился первым.
- Пропускная способность ограничена лимитом. С
nпромптами и лимитомcвы запускаетеceil(n / c)батчей -> это число, вокруг которого строится каждый план мощности.
A использовала бы asyncio и настоящий сетевой клиент. Чтобы первую версию было легко понять, вы моделируете ту же форму с помощью обычных функций и цикла планирования -> нет цикла событий, нет сети, нет реальной модели. Вот реальная форма для справки, та же логика с живым циклом событий:
import asyncio
async def run_batch(prompts, worker, cap=4):
sem = asyncio.Semaphore(cap) # the concurrency cap
async def one(i):
async with sem: # at most cap in flight
return i, await worker(prompts[i])
pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
results = [None] * len(prompts)
for i, r in pairs: # reassemble by ORIGINAL index
results[i] = r["result"]
return resultsA Semaphore ограничивает лимит, gather запускает вызовы вместе, и вы все равно записываете каждый ответ обратно в свой исходный слот. Заметьте одно отличие от батчей, которые вы сейчас построите: с семафором новый вызов начинается в момент завершения любого вызова, поэтому в работе всегда находится до cap, в то время как фиксированные батчи ждут самый медленный вызов в каждом батче перед началом следующего. Версия с семафором быстрее; батчи проще понять. Асинхронный код тоже можно протестировать (с asyncio.run и fake workers); здесь вы строите версию с батчами с обычным планировщиком, чтобы логика оставалась видимой. worker(prompt) заменяет вызов модели и возвращает {"result": ..., "cost": ...}, где cost представляет, сколько времени займет этот элемент. Вы намеренно планируете каждый батч в разном порядке стоимости, чтобы доказать, что сборка вашего результата не зависит от этого скрыто.
for start in range(0, len(prompts), cap):
window = range(start, min(start + cap, len(prompts)))
# work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
...Постройте run_batch(prompts, worker, cap=4). Map worker над каждым prompt партиями размером cap, и верните {"results": [...], "batches": n_batches}, где results[i] это результат работы для prompts[i] (порядок ввода сохранен) и batches это ceil(len(prompts) / cap). Пустой список prompt запускает ноль партий.
Напишите run_batch(prompts, worker, cap=4), который отображает (заглушку) worker над каждым prompt в пакетах по cap и возвращает {"results", "batches"}. results должен быть в порядке INPUT, хотя каждый элемент несет разный cost, по которому вы можете планировать; batches это ceil(len(prompts) / cap). Используйте простые функции и цикл планирования -> никаких asyncio, никакой сети. Второй отдельный набор входных данных должен давать разные результаты; пустой список запускает ноль пакетов.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.