동시 일괄 호출 (한정된 펼치기)
프롬프트 천 개의 답이 필요할 때, 모델을 하나씩 부르고 각 응답을 기다리는 건 고통스럽게 느려요. 실제 앱은 많은 요청을 동시에 쏘아요 -> 하지만 무제한은 아니에요: 모든 제공자가 동시에 진행 중인 호출 수에 상한을 두니, 일을 정해진 크기의 일괄로 처리해요. 두 가지 사실이 동시성을 까다롭게 하고, 둘 다 여기 나와요.
- 결과는 순서 없이 돌아와요. 짧은 프롬프트가 먼저 보낸 긴 프롬프트보다 먼저 끝날 수 있어요. 코드는 먼저 끝난 순서가 아니라 원래 입력 위치로 답을 다시 조립해야 해요.
- 처리량은 상한으로 한정돼요. 프롬프트
n개와 상한c면ceil(n / c)개의 일괄을 돌려요 -> 모든 용량 계획이 그 숫자를 중심으로 짜여요.
실무 버전은 asyncio와 진짜 네트워크 클라이언트를 쓸 거예요. 이 첫 버전을 따라가기 쉽도록, 같은 모양을 평범한 함수와 일정 짜기 반복으로 본떠요 -> 이벤트 루프도, 네트워크도, 진짜 모델도 없어요. 참고로 진짜 모양은 이래요, 살아 있는 이벤트 루프와 함께하는 같은 로직이에요:
import asyncio
async def run_batch(prompts, worker, cap=4):
sem = asyncio.Semaphore(cap) # the concurrency cap
async def one(i):
async with sem: # at most cap in flight
return i, await worker(prompts[i])
pairs = await asyncio.gather(*(one(i) for i in range(len(prompts))))
results = [None] * len(prompts)
for i, r in pairs: # reassemble by ORIGINAL index
results[i] = r["result"]
return resultsSemaphore가 상한을 지키고, gather가 호출들을 함께 돌리고, 여전히 각 답을 원래 자리에 다시 써요. 곧 만들 일괄과의 차이 하나에 주목하세요: 세마포어에서는 어떤 호출이든 끝나는 순간 새 호출이 시작되니 언제나 cap개까지 진행 중이지만, 고정된 일괄은 다음 일괄을 시작하기 전에 각 일괄에서 가장 느린 호출을 기다려요. 세마포어 버전이 더 빠르고, 일괄이 생각하기 더 단순해요. 비동기 코드도 테스트할 수 있어요(asyncio.run과 가짜 작업자로). 여기서는 로직이 보이도록 평범한 일정 짜기로 일괄 버전을 만들어요. worker(prompt)가 모델 호출을 대신하고 {"result": ..., "cost": ...}를 돌려주는데, cost는 그 항목이 얼마나 걸릴지를 나타내요. 결과 조립이 몰래 거기에 의존하지 않는다는 걸 증명하려고 일부러 각 일괄의 일정을 다른 비용 순서로 짜요.
for start in range(0, len(prompts), cap):
window = range(start, min(start + cap, len(prompts)))
# work the window in ANY order, but write results[i] = worker(prompts[i])["result"]
...run_batch(prompts, worker, cap=4)를 만드세요. 크기 cap의 일괄로 모든 프롬프트에 worker를 적용하고, results[i]가 prompts[i]에 대한 작업자 결과(입력 순서 유지)이고 batches가 ceil(len(prompts) / cap)인 {"results": [...], "batches": n_batches}를 돌려주세요. 빈 프롬프트 리스트는 일괄을 0개 돌려요.
(가짜) worker를 cap 크기의 일괄로 모든 프롬프트에 적용하고 {"results", "batches"}를 돌려주는 run_batch(prompts, worker, cap=4)를 쓰세요. 각 항목이 일정 짜기에 쓸 수 있는 다른 cost를 싣고 있어도 results는 입력 순서여야 하고, batches는 ceil(len(prompts) / cap)이에요. 평범한 함수와 일정 짜기 반복을 쓰세요 -> asyncio도 네트워크도 없이. 서로 다른 두 번째 입력 세트는 다른 결과를 줘야 하고, 빈 리스트는 일괄을 0개 돌려요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.