المنهج الدراسي الدرس 199 من 250 · تعلم الآلة حول LLM
تعلم الآلة حول LLM

التسلسل المتدرج المدرك للتكلفة

هذه هي النقطة الجوهرية للوحدة بأكملها. استدعاء LLM في بيئة الإنتاج بطيء ويكلف مالا حقيقيا؛ أما المصنف الذي تم ضبطه فلا يكلف شيئا تقريبا. لذا أنت cascade: اجعل النموذج الرخيص يتعامل مع أغلبية حركة المرور الواثقة، وقم بتصعيد الجزء غير المؤكد فقط إلى LLM المكلف. إذا تم ذلك بشكل صحيح، فستقدم نفس الجودة بجزء بسيط من الفاتورة.

القرار هو العتبة التي بنيتها بالفعل: لكل طلب لديك صف احتمالية المصنف الرخيص. إذا تجاوزت أعلى احتمالية عتبة confidence threshold، أجب بشكل رخيص؛ وإلا فقم بالتصعيد. السؤال الهندسي الذي يطرحه مديرك فعليا هو how much does this save?، لذا عليك أيضا حساب عمليات التصعيد والتكلفة.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

ابنِ cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). لكل صف احتمالية، إذا كان max(row) >= threshold يتم التعامل معه بتكلفة منخفضة (تكلفته cheap_cost)؛ وإلا يتم تصعيده (تكلفته llm_cost). أرجع {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} حيث all_llm_cost هو ما كانت ستكلفه إرسال كل طلب إلى LLM، و saved = all_llm_cost - total_cost. المدخلات الفارغة لا تصعد شيئا ولا تكلف شيئا. اضغط Run لتسعير دفعة من حركة المرور.

دورك

اكتب cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). لكل صف، إذا كان max(row) >= threshold يتم التعامل معه بتكلفة منخفضة (التكلفة cheap_cost)، وإلا يتم تصعيده (التكلفة llm_cost). أعد {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated هو عدد الحالات المصعدة، escalation_rate هو escalated/len (0.0 إذا كان فارغاً)، total_cost هو مجموع التكلفة لكل طلب، all_llm_cost = len(prob_rows) * llm_cost، و saved = all_llm_cost - total_cost.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.