الانحدار اللوجستي والاحتمالات
أعطتك شجرة القرار تسمية. لكن الأنظمة الحقيقية عادة ما تحتاج إلى أكثر من "spam" أو "not spam" -> هي تحتاج إلى مدى تأكد النموذج، حتى تتمكن من تحديد عتبة، أو الامتناع عند عدم التأكد، أو توجيه الحالات الواثقة تلقائيا. النموذج الأساسي لذلك هو logistic regression، ورغم الاسم هو classifier، وليس regressor.
إليك الفكرة الأساسية وراء ذلك. يقوم النموذج الخطي بحساب مجموع موزون للميزات، والتي يمكن أن تكون أي رقم من سالب ما لا نهاية إلى موجب ما لا نهاية. يقوم Logistic regression بضغط ذلك الرقم عبر دالة sigmoid إلى احتمالية بين 0 و 1:
sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018 z = 0 -> 0.5 z = 4 -> 0.982لذا يخرج النموذج P(class = 1). أي قيمة فوق 0.5 تتنبأ بالفئة 1، وأي قيمة تحتها تتنبأ بالفئة 0، والقيمة القريبة من 0.5 تعني أن النموذج يقول "أنا غير متأكد". هذا الرقم الوحيد هو ما بنيت عليه كل حيلة عتبة الثقة والتوجيه اللاحقة في هذا المسار.
الكود هو نفس طقوس fit/predict الخاصة بالشجرة، مع طريقة جديدة واحدة، predict_proba، والتي تعيد الاحتمالات بدلاً من التصنيفات الثابتة:
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X) # hard labels: 0 or 1
clf.predict_proba(X) # one [P(0), P(1)] row per sample, each row sums to 1ستقوم بتدريبه على مجموعة بيانات صغيرة وبسيطة: عدد ساعات الدراسة مقابل نجاح الطالب من عدمه. ساعات قليلة -> رسوب (0)، ساعات كثيرة -> نجاح (1). لأن النمط متزايد، يجب أن يعطي النموذج الملائم احتمال أعلى للنجاح لشخص درس أكثر. العمودان في predict_proba هما P(class 0) و P(class 1) بترتيب clf.classes_ (هنا [0, 1])، لذا فإن مؤشر العمود 1 هو احتمال النجاح.
تم إعطاء مجموعة بيانات بميزة واحدة: hours درست و passed (0 أو 1). (1) أنشئ LogisticRegression() و fit على X, y. (2) خزن التسميات الصلبة لـ X في preds. (3) استخدم predict_proba لتخزين احتمالية passing (الفئة 1) للدراسة لمدة ساعتين في p_low، ولـ 7 ساعات في p_high. يجب أن يكون النموذج واثقاً بما يكفي بأن p_high > p_low، وكلاهما احتمالات حقيقية بين 0 و 1.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.