Una cascata attenta ai costi
Questa è la morale di tutto il modulo. Una chiamata a un LLM di produzione è lenta e costa soldi veri; un classificatore addestrato non costa quasi niente. Quindi fai una cascata: lascia che il modello economico gestisca la maggioranza sicura del traffico, e fai salire all'LLM costoso solo la coda incerta. Fatto bene, offri la stessa qualità per una frazione della bolletta.
La decisione è la soglia che hai già costruito: per ogni richiesta hai la riga di probabilità del classificatore economico. Se la sua probabilità in testa supera una soglia di confidenza, rispondi in modo economico; altrimenti fai salire. La domanda ingegneristica che ti fa davvero il capo è quanto fa risparmiare?, quindi conti anche le salite e il costo.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMCostruisci cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Per ogni riga di probabilità, se max(row) >= threshold viene gestita in modo economico (costa cheap_cost); altrimenti viene fatta salire (costa llm_cost). Restituisci {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} dove all_llm_cost è quanto sarebbe costato mandare ogni richiesta all'LLM, e saved = all_llm_cost - total_cost. Un input vuoto non fa salire niente e non costa niente. Premi Run per dare un prezzo a un lotto di traffico.
Scrivi cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Per ogni riga, se max(row) >= threshold viene gestita in modo economico (costo cheap_cost), altrimenti viene fatta salire (costo llm_cost). Restituisci {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated è il numero di righe fatte salire, escalation_rate è escalated/len (0.0 per un input vuoto), total_cost è la somma dei costi per richiesta, all_llm_cost = len(prob_rows) * llm_cost, e saved = all_llm_cost - total_cost.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.