Conteúdo do curso Lição 199 de 250 · O ML ao redor do LLM
O ML ao redor do LLM

Cascata Consciente de Custos

Esta é a conclusão de todo o módulo. Uma chamada de LLM em produção é lenta e custa dinheiro real; um classificador ajustado custa quase nada. Então você cascade: deixe o modelo barato lidar com a maioria confiante do tráfego e encaminhe apenas a cauda incerta para o LLM caro. Feito corretamente, você entrega a mesma qualidade por uma fração da conta.

A decisão é o thresholding que você já construiu: para cada request você tem a linha de probabilidade do classifier barato. Se a probabilidade do topo ultrapassa um confidence threshold, responda barato; caso contrário, escale. A pergunta de engenharia que seu chefe realmente faz é how much does this save?, então você também conta as escalações e o custo.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Construa cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada linha de probabilidade, se max(row) >= threshold ela é tratada barato (custa cheap_cost); caso contrário ela é escalada (custa llm_cost). Retorne {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} onde all_llm_cost é o que enviar cada requisição para a LLM teria custado, e saved = all_llm_cost - total_cost. Uma entrada vazia não escala nada e não custa nada. Pressione Run para precificar um lote de tráfego.

Sua vez

Escreva cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada linha, se max(row) >= threshold é tratado barato (custo cheap_cost), caso contrário é escalado (custo llm_cost). Retorne {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated é a contagem escalada, escalation_rate é escalado/len (0.0 para vazio), total_cost é o custo somado por requisição, all_llm_cost = len(prob_rows) * llm_cost e saved = all_llm_cost - total_cost.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.