عتبة الثقة والامتناع
A always إجابة، حتى عندما لا يكون لديه أي فكرة. يجب أن يكون مجموع Softmax مساويا لـ 1، لذا فإن النموذج المرتبك حقا لا يزال يقدم لك أعلى label -> ولكن باحتمالية منخفضة خلفه. في بيئة الإنتاج هذا أمر خطير: توجيه العميل بشكل خاطئ بصمت أسوأ من الاعتراف بأنك غير متأكد.
التصحيح هو confidence threshold مع خيار abstain. تنظر إلى احتمالية التصنيف الأعلى؛ إذا تجاوزت الحد فإنك تتصرف بناءً عليه، وإذا لم تتجاوزه فإنك تعيد "abstain"verdict خاصاً يحول الطلب إلى إنسان (أو يصعّده إلى نموذج أكثر تكلفة). هذه هي بوابة التسليم البشري التي تمتلكها كل أنظمة LLM الجادة.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"العتبة هي قرص تضبطه بناءً على البيانات: ارفعها وستمتنع أكثر (عمل أكثر أماناً وإنسانية)؛ اخفضها وستتصرف أكثر (أرخص وأكثر مخاطرة). الحدود نفسها مهمة -> قرر ما إذا كان الاحتمال الذي يساوي العتبة بالضبط يعتبر واثقاً. هنا نستخدم >= threshold يعني confident (قيمة الحد تمر).
من أين تأتي الاحتمالات؟ عادة من model.predict_proba(...) المصنف الذي بنيته سابقاً، أو درجات cosine لكل نموذج بعد تطبيعها في توزيع. في كلتا الحالتين، منطق البوابة هو نفس الدالة الصغيرة، وهي نقية وحتمية -> وهي بالضبط نوع الحماية التي يمكنك اختبارها بوحدات الاختبار.
أنشئ دالة واحدة. classify_with_threshold(probs, labels, threshold): ابحث عن التسمية ذات الاحتمالية الأعلى؛ إذا كانت تلك الاحتمالية هي >= threshold فقم بإرجاع التسمية، وإلا فقم بإرجاع النص "abstain". probs و labels هما قائمتان متوازيتان. اضغط على Run لرؤية حالة واثقة تمر وحالة غير متأكدة تمتنع.
اكتب classify_with_threshold(probs, labels, threshold) حيث probs و labels هما قائمتان متوازيتان. أعد الملصق الذي يمتلك أعلى احتمالية، ولكن فقط إذا كانت تلك الاحتمالية هي >= threshold؛ وإلا أعد السلسلة النصية "abstain". تعامل مع الاحتمالية التي تساوي العتبة تماما كاحتمالية موثوقة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.