Gleichzeitige Batch-Aufrufe (begrenzter Fan-out)
Wenn du Antworten für tausend Prompts brauchst, ist das Modell nacheinander aufzurufen und auf jede Antwort zu warten schmerzhaft langsam. Echte Apps senden viele Anfragen concurrently -> aber nicht unbegrenzt: jeder Anbieter begrenzt die Anzahl der gleichzeitig laufenden Aufrufe, also verarbeitest du die Arbeit in batches einer festen Größe. Zwei Fakten machen Concurrency schwierig, und beide tauchen hier auf.
- Die Ergebnisse kommen in der falschen Reihenfolge zurück. Ein kurzer Prompt kann vor einem langen enden, den du zuerst gesendet hast. Dein Code muss die Antworten nach ihrer ursprünglichen Eingabeposition neu zusammensetzen, nicht danach, wer zuerst fertig wurde.
- Der Durchsatz ist durch die Grenze begrenzt. Mit
nprompts und einer Grenze voncführst duceil(n / c)batches aus -> die Zahl, um die jeder Kapazitätsplan aufgebaut ist.
A Produktionsversion würde asyncio und einen echten Netzwerkclient verwenden. Um diese erste Version einfach zu folgen, modellierst du die gleiche Form mit einfachen Funktionen und einer scheduling loop -> keine event loop, kein Netzwerk, kein echtes Modell. Hier ist die echte Form, als Referenz, die gleiche Logik mit einer live event loop:
import asyncio
async def run_batch(prompts, worker, cap=4):
sem = asyncio.Semaphore(cap) # the concurrency cap
async def one(i):
async with sem: # at most cap in flight
return i, await worker(prompts[i])
pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
results = [None] * len(prompts)
for i, r in pairs: # reassemble by ORIGINAL index
results[i] = r["result"]
return resultsA Semaphore erzwingt die Grenze, gather führt die Aufrufe zusammen, und du schreibst jede Antwort noch in ihren ursprünglichen Slot zurück. Beachte einen Unterschied zu den Batches, die du gleich bauen wirst: Mit einer Semaphore startet ein neuer Aufruf in dem Moment, in dem irgendein Aufruf fertig wird, also sind immer bis zu cap in Arbeit, während feste Batches auf den langsamsten Aufruf in jedem Batch warten, bevor sie den nächsten starten. Die Semaphore Version ist schneller; Batches sind einfacher zu durchdenken. Async Code kann auch getestet werden (mit asyncio.run und fake workers); hier baust du die Batch Version mit einem einfachen Scheduler, damit die Logik im Blick bleibt. Ein worker(prompt) steht für den Model Call und gibt {"result": ..., "cost": ...} zurück, wobei cost darstellt, wie lange dieser Punkt dauern würde. Du planst jedes Batch bewusst in einer anderen Kostenreihenfolge, um zu beweisen, dass deine Ergebnzzusammenstellung nicht heimlich davon abhängt.
for start in range(0, len(prompts), cap):
window = range(start, min(start + cap, len(prompts)))
# work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
...Baue run_batch(prompts, worker, cap=4).. Mappe worker über jeden prompt in Batches der Größe cap und gib {"results": [...], "batches": n_batches} zurück, wobei results[i] das worker-Ergebnis für prompts[i] ist (Eingabeordnung beibehalten) und batches ceil(len(prompts) / cap) ist. Eine leere prompt-liste führt null Batches aus.
Schreibe run_batch(prompts, worker, cap=4), das ein (gemocktes) worker über jeden prompt in Batches von cap abbildet und {"results", "batches"} zurückgibt. results muss in INPUT-Reihenfolge sein, obwohl jedes Element einen anderen cost trägt, nach dem du planen kannst; batches ist ceil(len(prompts) / cap). Benutze einfache Funktionen und eine scheduling loop -> kein asyncio, kein Netzwerk. Ein zweiter, unterschiedlicher Input-Satz muss andere Ergebnisse liefern; eine leere list führt null Batches aus.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.