Cascade attentive aux coûts
Voici la chute de tout le module. Un appel LLM en production est lent et coûte du vrai argent ; un classifieur ajusté ne coûte presque rien. Donc tu fais une cascade : laisse le modèle bon marché gérer la majorité confiante du trafic, et n'escalade vers le LLM coûteux que la queue incertaine. Bien fait, tu offres la même qualité pour une fraction de la facture.
La décision, c'est le seuil que tu as déjà construit : pour chaque demande, tu as la ligne de probabilités du classifieur bon marché. Si sa probabilité en tête passe un seuil de confiance, réponds à bas coût ; sinon escalade. La vraie question d'ingénierie que pose ton chef, c'est combien ça fait économiser ?, donc tu comptes aussi les escalades et le coût.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMConstruis cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Pour chaque ligne de probabilités, si max(row) >= threshold, elle est traitée à bas coût (elle coûte cheap_cost) ; sinon elle est escaladée (elle coûte llm_cost). Renvoie {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} où all_llm_cost est ce qu'aurait coûté l'envoi de chaque demande au LLM, et saved = all_llm_cost - total_cost. Une entrée vide n'escalade rien et ne coûte rien. Appuie sur Run pour chiffrer un lot de trafic.
Écris cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Pour chaque ligne, si max(row) >= threshold, elle est traitée à bas coût (coût cheap_cost), sinon escaladée (coût llm_cost). Renvoie {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} : escalated est le nombre d'escalades, escalation_rate vaut escalated/len (0.0 si vide), total_cost est la somme des coûts par demande, all_llm_cost = len(prob_rows) * llm_cost, et saved = all_llm_cost - total_cost.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.