Chương trình học Bài 148 trên tổng số 156 · Đo web như một nhà nghiên cứu
Đo web như một nhà nghiên cứu

Huấn luyện một bộ phân loại bên theo dõi

Vì sao điều này quan trọng Danh sách chặn do con người viết và luôn đi sau: bên theo dõi mới xuất hiện mỗi tuần. Một bộ phân loại học xem bên theo dõi hành xử ra sao và có thể đánh dấu những cái chưa danh sách nào nêu tên. Tự xây một cái nhỏ cho thấy những công cụ như vậy làm được gì, và cách đánh giá chúng trung thực.

Hãy nghĩ tới một người gác cửa giàu kinh nghiệm. Không ai đưa họ danh sách mọi kẻ gây rối, nhưng họ đã học được các dấu hiệu, và họ cân nhắc chúng cùng nhau: một dấu hiệu chẳng nói lên mấy, ba dấu hiệu cùng lúc nói lên rất nhiều. Một bộ phân loại làm điều tương tự với các con số.

Dữ liệu

tracker_dataset(seed) trong watched.leg7b_web thu thập một web mô phỏng và đo sáu hành vi cho mỗi bên thứ ba nó thấy, mỗi cái được chia thang từ 0 tới 1: nó có mặt trên bao nhiêu trang, nó đặt cookie thường xuyên cỡ nào, nó gửi các hình ảnh tí hon (pixel) thường xuyên cỡ nào, URL của nó mang các giá trị dài trông như ID thường xuyên cỡ nào, chúng mang địa chỉ trang thường xuyên cỡ nào, và phản hồi của nó nhỏ thường xuyên cỡ nào. Mỗi hàng cũng có một nhãn y: 1 nếu danh sách chặn gọi nó là bên theo dõi, 0 nếu không.

from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])

Hồi quy logistic trong ba ý tưởng

Trọng số (weight): một con số cho biết một đặc trưng được tính là bằng chứng nhiều đến đâu. Dương nghĩa là "càng nhiều cái này, càng giống bên theo dõi".

1. Cân nhắc bằng chứng. Nhân mỗi đặc trưng với trọng số của nó, cộng tất cả lại, và cộng một bias (một độ nghiêng khởi đầu): z = w1*x1 + w2*x2 + ... + bias.

2. Ép nó thành một xác suất. Hàm sigmoid 1 / (1 + math.exp(-z)) biến bất kỳ con số nào thành một số từ 0 tới 1. z dương lớn cho gần 1, âm lớn cho gần 0, bằng không cho 0.5.

3. Học từ sai lầm. Bắt đầu với mọi trọng số bằng 0. Với mỗi hàng huấn luyện, tính error = prediction - y. Rồi đẩy nhẹ mỗi trọng số: w = w - lr * error * x, và bias bằng bias - lr * error. lr (tốc độ học) đặt độ lớn của cú đẩy. Đi qua mọi hàng một lần là một epoch; lặp lại trong nhiều epoch.

import math
def sigmoid(z):
    return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3))   # 0.5 0.982 0.018

Đánh giá nó: độ chính xác và độ phủ

Bạn đã gặp chúng ở Chặng 2. Nói "bên theo dõi" khi xác suất ít nhất là 0.5. Khi đó:

  • Độ chính xác (precision) = bên theo dõi thật được đánh dấu / mọi thứ được đánh dấu. Độ chính xác thấp làm hỏng các trang vô hại.
  • Độ phủ (recall) = bên theo dõi thật được đánh dấu / mọi bên theo dõi thật. Độ phủ thấp để bên theo dõi lọt qua.

Luôn đo trên các hàng để riêng, những hàng mô hình chưa bao giờ huấn luyện. Chấm điểm trên các hàng huấn luyện thì tâng bốc nó. Các bài kiểm tra còn đi xa hơn và chấm điểm mô hình của bạn trên một lần thu thập một web nó chưa bao giờ thấy.

Một hiểu lầm phổ biến: "Mô hình đã học được bên theo dõi là gì." Nó học để đồng ý với danh sách chặn đã gắn nhãn dữ liệu, kể cả các sai lầm. Nếu danh sách sai về một trang, mô hình cũng được dạy để sai. Bài 149 quay lại với điều này.

Trong các ngôn ngữ khác

Phép dự đoán và một bước học, ở nơi khác:

// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
  const err = predict(w, b, row.x) - row.y;
  return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}
// C#
double Predict(double[] w, double b, double[] x) {
    double z = b;
    for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
    return 1.0 / (1.0 + Math.Exp(-z));
}

Tóm tắt

  • Một bộ phân loại học hành vi của bên theo dõi, nên nó có thể đánh dấu những bên theo dõi chưa danh sách nào nêu tên.
  • Hồi quy logistic: cân nhắc các đặc trưng, ép bằng sigmoid, đẩy nhẹ trọng số theo sai số.
  • Đánh giá nó bằng độ chính xác và độ phủ trên những hàng nó chưa bao giờ huấn luyện.
  • Nó học góc nhìn về thế giới của các nhãn, kể cả các sai lầm.
Đến lượt bạn

Viết ba hàm, bằng Python thuần:

  1. predict(weights, bias, x): sigmoid 1 / (1 + math.exp(-z)) của z = sum(weights[i] * x[i]) + bias.
  2. train(rows, epochs=100, lr=0.5): bắt đầu với trọng số bằng không (mỗi đặc trưng một trọng số) và bias 0.0; với mỗi epoch, với mỗi hàng theo thứ tự, tính error = predict(...) - row["y"], rồi cập nhật mọi trọng số bằng - lr * error * x[i] và bias bằng - lr * error. Trả về (weights, bias).
  3. precision_recall(weights, bias, rows, threshold=0.5): đánh dấu một hàng khi dự đoán ít nhất bằng ngưỡng; trả về (precision, recall), dùng 0.0 khi một phép chia sẽ chia cho không. (Các quy ước khác nhau: một bộ chặn không đánh dấu gì thì không có báo động nhầm nào, và một số người chấm tính độ chính xác đó là 1.0. Cả hai đều bảo vệ được; một báo cáo nên nói nó dùng quy ước nào.)
Rồi đặt weights, bias từ data["train"] và test_precision, test_recall trên data["test"]. Các bài kiểm tra chấm điểm mô hình của bạn trên một web mô phỏng nó chưa bao giờ thấy: ít nhất 0.80 cho cả hai.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.