강의 계획 레슨 250개 중 186번째 · 실무 패턴: 재시도, 비동기, 스트리밍, 메모리
실무 패턴: 재시도, 비동기, 스트리밍, 메모리

지수 백오프가 있는 재시도

실제 세계가 LLM 앱에 가장 먼저 가르치는 건 호출이 실패한다는 거예요. 속도 제한, 끊긴 연결, 제공자의 503 -> 어느 것도 내 코드가 틀렸다는 뜻이 아니라, 잠깐 기다렸다가 다시 시도하라는 뜻이에요. 표준 패턴은 지수 백오프가 있는 재시도예요: 실패할 때마다 다음 시도 전에 더 오래 기다려서, 짧은 문제는 빨리 회복하고 힘겨워하는 서비스는 두들겨 맞지 않게 해요.

재시도 사이의 지연은 매번 두 배가 돼요. 기본 지연이 0.5초면 0.5, 그다음 1.0, 그다음 2.0을 기다리고, 그런 식이에요 -> 공식은 base_delay * 2 ** attempt이고 attempt는 0부터 센 재시도 번호예요. 정해진 횟수를 시도한 뒤에는 포기하고 오류가 퍼지게 둬요. 영원히 재시도하면 진짜 장애를 숨길 뿐이니까요.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

실무에서 기다림은 진짜 time.sleep(delay)이고, 기기 내 WebLLM 엔진 둘레에서는 같은 재시도 반복으로 engine.chat.completions.create(...)를 감쌀 거예요. 하지만 잠자기는 테스트를 느리고 들쭉날쭉하게 만들어요. 그래서 여기서는 전혀 자지 않아요: 기다렸을 지연을 기록하고 돌려줘요. 그러면 전체가 결정적이고 바로 테스트할 수 있으면서, 로직 -> 시도를 세고, 백오프를 계산하고, 한도에서 포기하기 -> 은 정확히 내보내는 그대로예요.

알아 둘 실제 세계의 다듬기 하나: 지연을 두 배로만 하면 같은 순간에 실패한 모든 클라이언트가 발맞춰 재시도해서, 모두 함께 깨어나 서비스를 다시 들이받아요("우르르 몰려드는 무리"). 실무 코드는 지터를 더해요 -> 재시도가 퍼지도록 약간의 무작위성을 주는 거예요. 흔히 계산된 지연까지의 무작위 시간만큼 자요("전체 지터", 예: time.sleep(random.uniform(0, delay))). 채점되는 함수는 결정적으로 두고 정확한 base_delay * 2 ** attempt 값을 기록해요. 지터는 그 위에 얹을 실무 다듬기이지, 연습의 일부가 아니에요.

retry_call(fn, max_attempts, base_delay)를 만드세요. fn()을 부르세요. 돌아오면 dict {"value": result, "attempts": how_many_calls, "delays": [...]}를 돌려주세요. 오류가 나면 백오프 지연 base_delay * 2 ** attempt를 기록하고(자지 말고) 다시 시도하되, 모두 합쳐 max_attempts번까지 부르세요. 마지막 시도도 오류가 나면 그 예외가 퍼지게 두세요. 결코 실패하지 않는 호출 가능한 것은 빈 지연 리스트와 함께 정확히 한 번 불려요. 실제 클라이언트의 규칙 두 가지도 여기 속해요. 일시적인 실패(calling-llms 모듈의 408, 409, 429, 5xx 상태)만 재시도하세요. 잘못된 요청은 매번 같은 식으로 실패해요. 그리고 서버가 retry-after 헤더를 보내면 내 백오프 대신 적어도 그만큼 기다리세요. 공식 SDK가 이미 둘 다 하고 기본으로 두 번 재시도하니, 실제로는 이 반복을 직접 쓰기보다 보통 max_retries를 조절해요.

내 차례

fn()을 부르고 오류가 나면 재시도하되, 재시도할 가치가 있는 오류만 재시도하는 retry_call(fn, max_attempts, base_delay, retryable=None)를 쓰세요: retryable(예외에서 True/False로 가는 함수)이 주어졌고 False를 돌려주면, 다시 시도하지 말고 바로 다시 일으키세요. retryable=None이면 모든 예외를 재시도할 수 있는 것으로 쳐요. 각 재시도 전에 자지 않고 지수 백오프 지연 base_delay * 2 ** attempt를 기록해요. 성공하면 {"value", "attempts", "delays"}를 돌려주고, max_attempts번의 호출이 모두 실패하면 다시 일으키세요. N-1번 실패한 뒤 성공하는 fn은 값을 돌려주고, 기록된 지연은 지수 참고 값과 같고, 결코 실패하지 않는 fn은 정확히 한 번 불려요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.