Temario Lección 199 de 250 · El ML que rodea al LLM
El ML que rodea al LLM

Cascada consciente del coste

Este es el remate de todo el módulo. Una llamada a un LLM de producción es lenta y cuesta dinero de verdad; un clasificador ajustado no cuesta casi nada. Así que haces una cascada: deja que el modelo barato se encargue de la mayoría confiada del tráfico, y escala solo la cola dudosa al LLM caro. Bien hecho, sirves la misma calidad por una fracción de la factura.

La decisión es el umbral que ya construiste: para cada petición tienes la fila de probabilidades del clasificador barato. Si su probabilidad más alta supera un umbral de confianza, responde de forma barata; si no, escala. La pregunta de ingeniería que de verdad hace tu jefe es ¿cuánto ahorra esto?, así que también cuentas las escaladas y el coste.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Construye cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada fila de probabilidades, si max(row) >= threshold se trata de forma barata (cuesta cheap_cost); si no, se escala (cuesta llm_cost). Devuelve {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}, donde all_llm_cost es lo que habría costado enviar todas las peticiones al LLM, y saved = all_llm_cost - total_cost. Una entrada vacía no escala nada y no cuesta nada. Pulsa Ejecutar para poner precio a un lote de tráfico.

Tu turno

Escribe cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada fila, si max(row) >= threshold se trata de forma barata (coste cheap_cost), si no se escala (coste llm_cost). Devuelve {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated es el número de escaladas, escalation_rate es escalated/len (0.0 si está vacía), total_cost es la suma de los costes por petición, all_llm_cost = len(prob_rows) * llm_cost, y saved = all_llm_cost - total_cost.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.