Программа курса Урок 187 из 250 · Паттерны для продакшена: Retries, Async, Streaming и Memory
Паттерны для продакшена: Retries, Async, Streaming и Memory

Параллельные пакетные вызовы (ограниченный веерный вызов)

Когда вам нужны ответы на тысячу промптов, вызов модели по одному и ожидание каждого ответа происходит мучительно медленно. Реальные приложения отправляют много запросов concurrently -> но не без ограничений: каждый провайдер ограничивает количество одновременно выполняемых вызовов, поэтому вы обрабатываете работу в batches фиксированного размера. Два факта делают параллелизм сложным, и оба проявляются здесь.

  • Результаты приходят в неправильном порядке. Короткий prompt может завершиться раньше длинного, который вы отправили первым. Ваш код должен собрать ответы по их исходная позиция во входе, а не по тому, кто завершился первым.
  • Пропускная способность ограничена лимитом. С n промптами и лимитом c вы запускаете ceil(n / c) батчей -> это число, вокруг которого строится каждый план мощности.
Продакшн версия

A использовала бы asyncio и настоящий сетевой клиент. Чтобы первую версию было легко понять, вы моделируете ту же форму с помощью обычных функций и цикла планирования -> нет цикла событий, нет сети, нет реальной модели. Вот реальная форма для справки, та же логика с живым циклом событий:

import asyncio

async def run_batch(prompts, worker, cap=4):
    sem = asyncio.Semaphore(cap)            # the concurrency cap
    async def one(i):
        async with sem:                     # at most cap in flight
            return i, await worker(prompts[i])
    pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
    results = [None] * len(prompts)
    for i, r in pairs:                       # reassemble by ORIGINAL index
        results[i] = r["result"]
    return results

A Semaphore ограничивает лимит, gather запускает вызовы вместе, и вы все равно записываете каждый ответ обратно в свой исходный слот. Заметьте одно отличие от батчей, которые вы сейчас построите: с семафором новый вызов начинается в момент завершения любого вызова, поэтому в работе всегда находится до cap, в то время как фиксированные батчи ждут самый медленный вызов в каждом батче перед началом следующего. Версия с семафором быстрее; батчи проще понять. Асинхронный код тоже можно протестировать (с asyncio.run и fake workers); здесь вы строите версию с батчами с обычным планировщиком, чтобы логика оставалась видимой. worker(prompt) заменяет вызов модели и возвращает {"result": ..., "cost": ...}, где cost представляет, сколько времени займет этот элемент. Вы намеренно планируете каждый батч в разном порядке стоимости, чтобы доказать, что сборка вашего результата не зависит от этого скрыто.

for start in range(0, len(prompts), cap):
    window = range(start, min(start + cap, len(prompts)))
    # work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
    ...

Постройте run_batch(prompts, worker, cap=4). Map worker над каждым prompt партиями размером cap, и верните {"results": [...], "batches": n_batches}, где results[i] это результат работы для prompts[i] (порядок ввода сохранен) и batches это ceil(len(prompts) / cap). Пустой список prompt запускает ноль партий.

Твоя очередь

Напишите run_batch(prompts, worker, cap=4), который отображает (заглушку) worker над каждым prompt в пакетах по cap и возвращает {"results", "batches"}. results должен быть в порядке INPUT, хотя каждый элемент несет разный cost, по которому вы можете планировать; batches это ceil(len(prompts) / cap). Используйте простые функции и цикл планирования -> никаких asyncio, никакой сети. Второй отдельный набор входных данных должен давать разные результаты; пустой список запускает ноль пакетов.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.