Programme Leçon 199 sur 250 · Le ML autour du LLM
Le ML autour du LLM

Cascade attentive aux coûts

Voici la chute de tout le module. Un appel LLM en production est lent et coûte du vrai argent ; un classifieur ajusté ne coûte presque rien. Donc tu fais une cascade : laisse le modèle bon marché gérer la majorité confiante du trafic, et n'escalade vers le LLM coûteux que la queue incertaine. Bien fait, tu offres la même qualité pour une fraction de la facture.

La décision, c'est le seuil que tu as déjà construit : pour chaque demande, tu as la ligne de probabilités du classifieur bon marché. Si sa probabilité en tête passe un seuil de confiance, réponds à bas coût ; sinon escalade. La vraie question d'ingénierie que pose ton chef, c'est combien ça fait économiser ?, donc tu comptes aussi les escalades et le coût.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Construis cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Pour chaque ligne de probabilités, si max(row) >= threshold, elle est traitée à bas coût (elle coûte cheap_cost) ; sinon elle est escaladée (elle coûte llm_cost). Renvoie {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} où all_llm_cost est ce qu'aurait coûté l'envoi de chaque demande au LLM, et saved = all_llm_cost - total_cost. Une entrée vide n'escalade rien et ne coûte rien. Appuie sur Run pour chiffrer un lot de trafic.

À ton tour

Écris cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Pour chaque ligne, si max(row) >= threshold, elle est traitée à bas coût (coût cheap_cost), sinon escaladée (coût llm_cost). Renvoie {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} : escalated est le nombre d'escalades, escalation_rate vaut escalated/len (0.0 si vide), total_cost est la somme des coûts par demande, all_llm_cost = len(prob_rows) * llm_cost, et saved = all_llm_cost - total_cost.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.