Lehrplan Lektion 199 von 250 · Das ML rund um das LLM
Das ML rund um das LLM

Kostenbewusste Kaskade

Das ist der Kernpunkt des gesamten Moduls. Ein Produktions-LLM-Aufruf ist langsam und kostet echtes Geld; ein trainierter Classifier kostet fast nichts. Also cascade: lass das günstige Modell den Großteil des sicheren Traffics abwickeln und eskaliere nur den unsicheren Rest an das teure LLM. Wenn man es richtig macht, bietest du die gleiche Qualität für einen Bruchteil der Rechnung.

Die Entscheidung ist das Thresholding, das du bereits gebaut hast: für jede Anfrage hast du die Wahrscheinlichkeitszeile des günstigen Classifiers. Wenn seine höchste Wahrscheinlichkeit einen confidence threshold überschreitet, antworte günstig; ansonsten eskaliere. Die Engineering-Frage, die dein Chef tatsächlich stellt, ist how much does this save?, also zählst du auch die Eskalationen und die Kosten.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Baue cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Für jede Wahrscheinlichkeitszeile, wenn max(row) >= threshold wird sie günstig behandelt (es kostet cheap_cost); ansonsten wird sie eskaliert (es kostet llm_cost). Gib {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} zurück, wobei all_llm_cost das ist, was das Senden jeder Anfrage an das LLM gekostet hätte, und saved = all_llm_cost - total_cost. Eine leere Eingabe eskaliert nichts und kostet nichts. Drücke Run um eine Charge von Traffic zu bepreisen.

Du bist dran

Schreibe cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Für jede Zeile, wenn max(row) >= threshold wird sie günstig behandelt (Kosten cheap_cost), sonst eskaliert (Kosten llm_cost). Gib {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} zurück: escalated ist die Anzahl der eskalierten, escalation_rate ist eskaliert/len (0.0 für leer), total_cost ist die summierte Kosten pro Anfrage, all_llm_cost = len(prob_rows) * llm_cost und saved = all_llm_cost - total_cost.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.