Kostenbewusste Kaskade
Das ist der Kernpunkt des gesamten Moduls. Ein Produktions-LLM-Aufruf ist langsam und kostet echtes Geld; ein trainierter Classifier kostet fast nichts. Also cascade: lass das günstige Modell den Großteil des sicheren Traffics abwickeln und eskaliere nur den unsicheren Rest an das teure LLM. Wenn man es richtig macht, bietest du die gleiche Qualität für einen Bruchteil der Rechnung.
Die Entscheidung ist das Thresholding, das du bereits gebaut hast: für jede Anfrage hast du die Wahrscheinlichkeitszeile des günstigen Classifiers. Wenn seine höchste Wahrscheinlichkeit einen confidence threshold überschreitet, antworte günstig; ansonsten eskaliere. Die Engineering-Frage, die dein Chef tatsächlich stellt, ist how much does this save?, also zählst du auch die Eskalationen und die Kosten.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMBaue cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Für jede Wahrscheinlichkeitszeile, wenn max(row) >= threshold wird sie günstig behandelt (es kostet cheap_cost); ansonsten wird sie eskaliert (es kostet llm_cost). Gib {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} zurück, wobei all_llm_cost das ist, was das Senden jeder Anfrage an das LLM gekostet hätte, und saved = all_llm_cost - total_cost. Eine leere Eingabe eskaliert nichts und kostet nichts. Drücke Run um eine Charge von Traffic zu bepreisen.
Schreibe cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Für jede Zeile, wenn max(row) >= threshold wird sie günstig behandelt (Kosten cheap_cost), sonst eskaliert (Kosten llm_cost). Gib {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} zurück: escalated ist die Anzahl der eskalierten, escalation_rate ist eskaliert/len (0.0 für leer), total_cost ist die summierte Kosten pro Anfrage, all_llm_cost = len(prob_rows) * llm_cost und saved = all_llm_cost - total_cost.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.