Cascata Consciente de Custos
Esta é a conclusão de todo o módulo. Uma chamada de LLM em produção é lenta e custa dinheiro real; um classificador ajustado custa quase nada. Então você cascade: deixe o modelo barato lidar com a maioria confiante do tráfego e encaminhe apenas a cauda incerta para o LLM caro. Feito corretamente, você entrega a mesma qualidade por uma fração da conta.
A decisão é o thresholding que você já construiu: para cada request você tem a linha de probabilidade do classifier barato. Se a probabilidade do topo ultrapassa um confidence threshold, responda barato; caso contrário, escale. A pergunta de engenharia que seu chefe realmente faz é how much does this save?, então você também conta as escalações e o custo.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMConstrua cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada linha de probabilidade, se max(row) >= threshold ela é tratada barato (custa cheap_cost); caso contrário ela é escalada (custa llm_cost). Retorne {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} onde all_llm_cost é o que enviar cada requisição para a LLM teria custado, e saved = all_llm_cost - total_cost. Uma entrada vazia não escala nada e não custa nada. Pressione Run para precificar um lote de tráfego.
Escreva cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Para cada linha, se max(row) >= threshold é tratado barato (custo cheap_cost), caso contrário é escalado (custo llm_cost). Retorne {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated é a contagem escalada, escalation_rate é escalado/len (0.0 para vazio), total_cost é o custo somado por requisição, all_llm_cost = len(prob_rows) * llm_cost e saved = all_llm_cost - total_cost.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.