سرفصل‌ها درس 148 از 156 · وب را مثل یک پژوهشگر اندازه بگیرید
وب را مثل یک پژوهشگر اندازه بگیرید

یک دسته‌بند ردیاب آموزش دهید

چرا مهم است فهرست‌های مسدودسازی را آدم‌ها می‌نویسند و همیشه عقب‌اند: هر هفته ردیاب‌های تازه‌ای ظاهر می‌شوند. یک دسته‌بند یاد می‌گیرد ردیاب‌ها چطور رفتار می‌کنند و می‌تواند آن‌هایی را علامت بزند که هنوز هیچ فهرستی نامشان را نبرده. ساختن یکی کوچک توسط خودتان نشان می‌دهد چنین ابزارهایی چه کاری می‌توانند بکنند، و چطور صادقانه دربارهٔ آن‌ها قضاوت کرد.

یک دربان باتجربه را در نظر بگیرید. هیچ‌کس فهرست هر دردسرسازی را به او نداده، اما نشانه‌ها را یاد گرفته، و آن‌ها را با هم می‌سنجد: یک نشانه معنای کمی دارد، سه تا با هم معنای زیادی. یک دسته‌بند همین کار را با عددها می‌کند.

داده

tracker_dataset(seed) در watched.leg7b_web یک وب شبیه‌سازی‌شده را می‌خزد و برای هر شخص ثالثی که دید شش رفتار را اندازه می‌گیرد، هر کدام از 0 تا 1 مقیاس‌شده: روی چند سایت است، چند وقت یک بار کوکی تنظیم می‌کند، چند وقت یک بار تصاویر ریز (پیکسل) می‌فرستد، چند وقت یک بار URLهایش مقدارهای بلند شبیه شناسه حمل می‌کنند، چند وقت یک بار نشانی صفحه را حمل می‌کنند، و چند وقت یک بار پاسخ‌هایش کوچک‌اند. هر سطر یک برچسب y هم دارد: 1 اگر فهرست مسدودسازی آن را ردیاب بداند، 0 اگر نه.

from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])

رگرسیون لجستیک در سه ایده

وزن (weight): عددی که می‌گوید یک ویژگی چقدر به‌عنوان شاهد حساب می‌شود. مثبت یعنی «هر چه بیشتر از این، ردیاب‌مانندتر».

1. شاهد را بسنجید. هر ویژگی را در وزنش ضرب کنید، جمع بزنید، و یک بایاس (bias، یک گرایش آغازین) اضافه کنید: z = w1*x1 + w2*x2 + ... + bias.

2. آن را به یک احتمال فشرده کنید. تابع سیگموید 1 / (1 + math.exp(-z)) هر عددی را به عددی میان 0 و 1 تبدیل می‌کند. z مثبت بزرگ تقریباً 1 می‌دهد، منفی بزرگ تقریباً 0، صفر برابر 0.5.

3. از اشتباه‌ها یاد بگیرید. با همهٔ وزن‌ها برابر 0 شروع کنید. برای هر سطر آموزشی، error = prediction - y را محاسبه کنید. سپس هر وزن را جابه‌جا کنید: w = w - lr * error * x، و بایاس را با bias - lr * error. lr (نرخ یادگیری) اندازهٔ جابه‌جایی را تعیین می‌کند. یک بار گذشتن از همهٔ سطرها یک epoch است؛ برای epochهای بسیار تکرار کنید.

import math
def sigmoid(z):
    return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3))   # 0.5 0.982 0.018

قضاوت دربارهٔ آن: دقت و بازیابی

با این‌ها در مرحلهٔ 2 آشنا شدید. وقتی احتمال دست‌کم 0.5 است بگویید «ردیاب». سپس:

  • دقت = ردیاب‌های واقعی علامت‌خورده / همهٔ علامت‌خورده‌ها. دقت پایین سایت‌های بی‌خطر را می‌شکند.
  • بازیابی = ردیاب‌های واقعی علامت‌خورده / همهٔ ردیاب‌های واقعی. بازیابی پایین ردیاب‌ها را رد می‌کند.

همیشه روی سطرهای کنارگذاشته (held-out) اندازه بگیرید، آن‌هایی که مدل هرگز روی آن‌ها آموزش ندید. نمره‌دادن روی سطرهای آموزشی از آن تملق می‌گوید. آزمون‌ها فراتر می‌روند و مدل شما را روی خزش وبی که هرگز ندیده نمره می‌دهند.

یک تصور نادرست رایج: «مدل یاد گرفت ردیاب چیست.» یاد گرفت با فهرست مسدودسازی‌ای که داده را برچسب زد موافقت کند، با اشتباه‌هایش. اگر فهرست دربارهٔ سایتی اشتباه کند، به مدل هم یاد داده می‌شود اشتباه کند. درس 149 به این برمی‌گردد.

در زبان‌های دیگر

پیش‌بینی و یک گام یادگیری، در جاهای دیگر:

// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
  const err = predict(w, b, row.x) - row.y;
  return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}
// C#
double Predict(double[] w, double b, double[] x) {
    double z = b;
    for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
    return 1.0 / (1.0 + Math.Exp(-z));
}

خلاصه

  • یک دسته‌بند رفتار ردیاب را یاد می‌گیرد، پس می‌تواند ردیاب‌هایی را که هنوز هیچ فهرستی نام نبرده علامت بزند.
  • رگرسیون لجستیک: ویژگی‌ها را بسنجید، با سیگموید فشرده کنید، وزن‌ها را با خطا جابه‌جا کنید.
  • دربارهٔ آن با دقت و بازیابی روی سطرهایی که هرگز رویشان آموزش ندید قضاوت کنید.
  • دید برچسب‌ها از جهان را یاد می‌گیرد، با اشتباه‌هایش.
نوبت شما

سه تابع بنویسید، با Python ساده:

  1. predict(weights, bias, x): سیگموید 1 / (1 + math.exp(-z)) از z = sum(weights[i] * x[i]) + bias.
  2. train(rows, epochs=100, lr=0.5): با وزن‌های صفر (یکی برای هر ویژگی) و بایاس 0.0 شروع کنید؛ برای هر epoch، برای هر سطر به ترتیب، error = predict(...) - row["y"] را محاسبه کنید، سپس هر وزن را با - lr * error * x[i] و بایاس را با - lr * error به‌روز کنید. (weights, bias) را برگردانید.
  3. precision_recall(weights, bias, rows, threshold=0.5): وقتی پیش‌بینی دست‌کم برابر آستانه است یک سطر را علامت بزنید؛ (precision, recall) را برگردانید، و وقتی یک تقسیم بر صفر می‌بود از 0.0 استفاده کنید. (قراردادها فرق دارند: مسدودکننده‌ای که هیچ چیز علامت نزد هیچ هشدار نادرستی نداد، و برخی نمره‌دهنده‌ها آن دقت را 1.0 می‌شمارند. هر دو قابل دفاع‌اند؛ یک گزارش باید بگوید از کدام استفاده می‌کند.)
سپس weights, bias را از data["train"] و test_precision, test_recall را روی data["test"] تنظیم کنید. آزمون‌ها مدل شما را روی یک وب شبیه‌سازی‌شده که هرگز ندیده نمره می‌دهند: دست‌کم 0.80 برای هر دو.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.