تدريب مصنف تتبع
لماذا هذا مهم يتم كتابة Blocklists بواسطة البشر وتتأخر دائما عن التطور حيث تظهر trackers جديدة كل أسبوع. يتعلم classifier كيف تتصرف trackers ويمكنه تحديد تلك التي لم تذكرها أي قائمة بعد. بناء واحد صغير بنفسك يوضح ما يمكن لهذه الأدوات فعله وكيفية الحكم عليها بصدق.
فكر في حارس أمن خبير. لم يعطِ أحدٌ له قائمة بكل شخص يسبب المشاكل، لكنه تعلم العلامات، وهو يزنها معاً: علامة واحدة تعني القليل، وثلاث علامات معاً تعني الكثير. يقوم المصنف بنفس الشيء مع الأرقام.
البيانات
يقومtracker_dataset(seed) في watched.leg7b_web بمسح شبكة ويب محاكاة ويقيس ستة سلوكيات لكل طرف ثالث رآه، وكل سلوك مقاس من 0 إلى 1: عدد المواقع التي يتواجد عليها، عدد مرات تعيين cookies، عدد مرات إرسال صور صغيرة (pixels)، عدد مرات حمل URLs لقيم طويلة تشبه ID، عدد مرات حملها لعنوان الصفحة، وعدد مرات كانت فيها responses صغيرة. يحتوي كل صف أيضاً على تسمية y: 1 إذا كانت blocklist تسميه tracker، و0 إذا لم تكن كذلك.
from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])الانحدار اللوجستي في ثلاث أفكار
Weight: رقم يوضح مقدار وزن ميزة واحدة كدليل. القيمة الموجبة تعني "أكثر من هذا، أكثر شبهاً بمتتبع".
1. وزن الأدلة. اضرب كل feature في وزنه، ثم اجمعهم، وأضف bias (ميل مبدئي): z = w1*x1 + w2*x2 + ... + bias.
2. اضغطه إلى احتمال. تحوّل دالة sigmoid 1 / (1 + math.exp(-z)) أي رقم إلى رقم بين 0 و1. القيمة z الموجبة الكبيرة تعطي ما يقارب 1، والسالبة الكبيرة ما يقارب 0، والصفر يعطي 0.5.
3. تعلم من الأخطاء. ابدأ بجميع الأوزان 0. لكل صف تدريب، احسب error = prediction - y. ثم حرك كل وزن: w = w - lr * error * x، والانحياز بواسطة bias - lr * error. lr (معدل التعلم) يحدد حجم الحركة. المرور عبر جميع الصفوف مرة واحدة هو epoch؛ كرر ذلك لعدة epochs.
import math
def sigmoid(z):
return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3)) # 0.5 0.982 0.018تقييمها: الدقة والاستدعاء
لقد قابلت هذه في Leg 2. قل "tracker" عندما يكون الاحتمال 0.5 على الأقل. ثم:- Precision = true تعني تم وضع علامة على المتتبعات / تم وضع علامة على كل شيء. الدقة المنخفضة تكسر المواقع غير الضارة.
- Recall = true trackers flagged / all true trackers. انخفاض recall يسمح بمرور trackers.
قم دائما بالقياس على held-out صفوف، وهي الصفوف التي لم يتدرب عليها النموذج أبدا. إن التقييم على صفوف التدريب يخدعك. الاختبارات تذهب أبعد من ذلك وتقيم نموذجك على زحف لموقع ويب لم يره من قبل.
خطأ شائع: "تعلم النموذج ما هو المتتبع." لقد تعلم الموافقة على قائمة الحظر التي صنفت البيانات، بما في ذلك الأخطاء. إذا كانت القائمة خاطئة بشأن موقع ما، يتم تعليم النموذج ليكون خاطئا أيضا. الدرس 149 يعود إلى هذا.
في لغات أخرى
التنبؤ وخطوة تعلم واحدة، في مكان آخر:
// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
const err = predict(w, b, row.x) - row.y;
return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}// C#
double Predict(double[] w, double b, double[] x) {
double z = b;
for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
return 1.0 / (1.0 + Math.Exp(-z));
}ملخص
- يتعلم
- A تصرفات tracker، لذا يمكنه تحديد trackers التي ليس لها أسماء في القائمة بعد.
- الانحدار اللوجستي: وزن الميزات، الضغط باستخدام sigmoid، تعديل الأوزان بواسطة الخطأ.
- قيمها بناء على الدقة والاستدعاء على الصفوف التي لم يتدرب عليها أبدا.
- يتعلم وجهة نظر التسميات حول العالم، بما في ذلك الأخطاء.
اكتب ثلاث وظائف، بلغة Python بسيطة:
predict(weights, bias, x): دالة sigmoid1 / (1 + math.exp(-z))لـz = sum(weights[i] * x[i]) + bias.train(rows, epochs=100, lr=0.5): ابدأ بأوزان صفرية (وزن واحد لكل ميزة) وانحياز 0.0؛ لكل epoch، ولكل row بالترتيب، احسبerror = predict(...) - row["y"]، ثم حدث كل weight بواسطة- lr * error * x[i]والانحياز بواسطة- lr * error. أرجع(weights, bias).precision_recall(weights, bias, rows, threshold=0.5): ضع علامة على الصف عندما يكون التنبؤ على الأقل عند الحد الأدنى؛ أعد(precision, recall)، مع استخدام 0.0 عندما تكون القسمة على صفر. (تختلف الاصطلاحات: مانع لم يضع أي علامة لم يسبب أي إنذارات كاذبة، وبعض أدوات التقييم تحسب تلك الدقة كـ 1.0. كلاهما مقبول؛ يجب أن يوضح التقرير أيهما يستخدم.)
weights, bias من data["train"] و test_precision, test_recall على data["test"]. تقوم الاختبارات بتقييم نموذجك على ويب محاكى لم يره من قبل: على الأقل 0.80 لكليهما.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.