コストを意識したカスケード
これがこのモジュール全体の決め手です。本番の LLM 呼び出しは遅く、本物のお金がかかります。fit 済みの分類器にはほとんどお金がかかりません。だからカスケードにします:確信のある大多数のトラフィックは安いモデルに任せ、不確かな残りだけを高価な LLM に上げるのです。うまくやれば、同じ品質を請求額のごく一部で提供できます。
判断はすでに作ったしきい値の処理です:各要求について、安い分類器の確率の行があります。そのトップの確率が確信度のしきい値を超えていれば安く答え、そうでなければ上に回します。上司が実際に尋ねるエンジニアリングの問いはこれでいくら節約できるのか?なので、上に回した数とコストも数えます。
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMcascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) を作ってください。確率の各行について、max(row) >= threshold なら安く処理され(cheap_cost かかる)、そうでなければ上に回されます(llm_cost かかる)。{"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} を返します。all_llm_cost はすべての要求を LLM に送った場合にかかったはずのコストで、saved = all_llm_cost - total_cost です。空の入力なら何も上に回さず、コストもかかりません。実行を押して、ひとかたまりのトラフィックに値段を付けましょう。
cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) を書いてください。各行について、max(row) >= threshold なら安く処理し(コスト cheap_cost)、そうでなければ上に回します(コスト llm_cost)。{"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} を返します:escalated は上に回した数、escalation_rate は escalated/len(空なら 0.0)、total_cost は要求ごとのコストの合計、all_llm_cost = len(prob_rows) * llm_cost、そして saved = all_llm_cost - total_cost です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。