Cascada consciente del coste
Este es el remate de todo el módulo. Una llamada a un LLM de producción es lenta y cuesta dinero de verdad; un clasificador ajustado no cuesta casi nada. Así que haces una cascada: deja que el modelo barato se encargue de la mayoría confiada del tráfico, y escala solo la cola dudosa al LLM caro. Bien hecho, sirves la misma calidad por una fracción de la factura.
La decisión es el umbral que ya construiste: para cada petición tienes la fila de probabilidades del clasificador barato. Si su probabilidad más alta supera un umbral de confianza, responde de forma barata; si no, escala. La pregunta de ingeniería que de verdad hace tu jefe es ¿cuánto ahorra esto?, así que también cuentas las escaladas y el coste.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMConstruye cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada fila de probabilidades, si max(row) >= threshold se trata de forma barata (cuesta cheap_cost); si no, se escala (cuesta llm_cost). Devuelve {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}, donde all_llm_cost es lo que habría costado enviar todas las peticiones al LLM, y saved = all_llm_cost - total_cost. Una entrada vacía no escala nada y no cuesta nada. Pulsa Ejecutar para poner precio a un lote de tráfico.
Escribe cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada fila, si max(row) >= threshold se trata de forma barata (coste cheap_cost), si no se escala (coste llm_cost). Devuelve {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated es el número de escaladas, escalation_rate es escalated/len (0.0 si está vacía), total_cost es la suma de los costes por petición, all_llm_cost = len(prob_rows) * llm_cost, y saved = all_llm_cost - total_cost.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.