Temario Lección 186 de 250 · Patrones de producción: reintentos, asincronía, streaming y memoria
Patrones de producción: reintentos, asincronía, streaming y memoria

Reintentar con espera exponencial

Lo primero que el mundo real le enseña a una aplicación con LLM es que las llamadas fallan. Un límite de tasa, una conexión caída, un 503 del proveedor -> nada de esto significa que tu código esté mal; significa que debes esperar un momento y volver a intentarlo. El patrón estándar es reintentar con espera exponencial: tras cada fallo esperas más antes del siguiente intento, así un tropiezo breve se recupera rápido y a un servicio con problemas no se le machaca.

La espera entre reintentos se duplica cada vez. Si la espera base es de 0.5 segundos, esperas 0.5, luego 1.0, luego 2.0, y así sucesivamente -> la fórmula es base_delay * 2 ** attempt, donde attempt es el número de reintento empezando en cero. Tras un número fijo de intentos te rindes y dejas que el error se propague, porque reintentar para siempre solo esconde una caída real.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

En producción la espera es un time.sleep(delay) de verdad, y alrededor de un motor WebLLM en el dispositivo envolverías el mismo bucle de reintentos sobre engine.chat.completions.create(...). Pero dormir hace que una prueba sea lenta y poco fiable, así que aquí no duermes nada: registras las esperas que habrías hecho y las devuelves. Eso mantiene todo determinista y comprobable al instante, mientras que la lógica -> contar intentos, calcular la espera, rendirse en el límite -> es exactamente la que se publica.

Un refinamiento del mundo real que conviene conocer: duplicar la espera sin más hace que todos los clientes que fallaron en el mismo momento reintenten a la vez, despertándose juntos y golpeando de nuevo el servicio (una "estampida"). El código de producción añade jitter -> un poco de aleatoriedad para que los reintentos se repartan, normalmente durmiendo una cantidad aleatoria de hasta la espera calculada ("full jitter", por ejemplo time.sleep(random.uniform(0, delay))). Mantenemos determinista la función evaluada y registramos los valores exactos de base_delay * 2 ** attempt; el jitter es el refinamiento de producción que añadirías encima, no parte del ejercicio.

Construye retry_call(fn, max_attempts, base_delay). Llama a fn(). Si devuelve un valor, entrega un dict {"value": result, "attempts": how_many_calls, "delays": [...]}. Si lanza una excepción, registra la espera base_delay * 2 ** attempt (no duermas) y vuelve a intentarlo, hasta max_attempts llamadas en total. Si el último intento sigue lanzando una excepción, deja que se propague. Un invocable que nunca falla se llama exactamente una vez, con una lista de esperas vacía. Aquí también caben dos reglas de los clientes reales. Reintenta solo los fallos transitorios (los estados 408, 409, 429 y 5xx del módulo de llamadas a LLM); una petición mal formada falla igual cada vez. Y cuando el servidor envía una cabecera retry-after, espera al menos ese tiempo en lugar de tu propia espera. El SDK oficial ya hace las dos cosas, dos veces por defecto, así que en la práctica sueles ajustar max_retries en lugar de escribir tú este bucle.

Tu turno

Escribe retry_call(fn, max_attempts, base_delay, retryable=None), que llame a fn() y reintente cuando lance una excepción, pero solo con los errores que vale la pena reintentar: si se da retryable (una función de la excepción a True/False) y devuelve False, vuelve a lanzarla de inmediato sin otro intento. Con retryable=None, toda excepción cuenta como reintentable. Además, registra la espera exponencial base_delay * 2 ** attempt antes de cada reintento SIN dormir. Devuelve {"value", "attempts", "delays"} si sale bien; vuelve a lanzar la excepción cuando hayan fallado las max_attempts llamadas. Una fn que falla N-1 veces y luego funciona devuelve el valor; las esperas registradas son iguales a la referencia exponencial; una fn que nunca falla se llama exactamente una vez.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.