课程大纲 第 148 课,共 156 课 · 像研究者一样测量网络
像研究者一样测量网络

训练一个跟踪器分类器

为什么重要 拦截列表是人写的,总是落后一步:每周都有新的跟踪器出现。分类器学习的是跟踪器的行为像什么,所以能标记出还没有任何列表点名的跟踪器。自己构建一个小分类器,能展示这类工具能做什么,以及如何诚实地评判它们。

想想一位经验丰富的门卫。没有人给过他们一份所有闹事者的名单,但他们学会了那些迹象,并且把它们综合起来权衡:一个迹象说明不了什么,三个同时出现就说明了很多。分类器用数字做同样的事。

数据

watched.leg7b_web 中的 tracker_dataset(seed) 会爬取一个模拟网络,并为它看到的每一个第三方测量六种行为,每一种都缩放到 0 到 1 之间:它出现在多少个网站上、它多常设置 Cookie、它多常发送小图片(像素)、它的 URL 多常携带很长的类似 ID 的值、它们多常携带页面地址,以及它的响应多常很小。每一行还有一个标签 y:如果拦截列表把它称为跟踪器就是 1,否则是 0。

from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])

用三个想法讲清楚逻辑回归

权重:一个说明某个特征作为证据有多重要的数字。正数表示“这个越多,就越像跟踪器”。

1. 权衡证据。把每个特征乘以它的权重,加起来,再加上一个偏置(一个起始的倾向):z = w1*x1 + w2*x2 + ... + bias。

2. 把它压缩成一个概率。sigmoid 函数 1 / (1 + math.exp(-z)) 会把任何数字变成一个介于 0 和 1 之间的数。很大的正数 z 得到接近 1,很大的负数得到接近 0,零得到 0.5。

3. 从错误中学习。一开始所有权重都是 0。对每一个训练行,计算 error = prediction - y。然后微调每个权重:w = w - lr * error * x,偏置则调整为 bias - lr * error。lr(学习率)设定了微调的幅度。把所有行过一遍叫作一个轮次(epoch);重复许多个轮次。

import math
def sigmoid(z):
    return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3))   # 0.5 0.982 0.018

评判它:精确率和召回率

你在第 2 阶段见过它们。当概率至少为 0.5 时,就说“是跟踪器”。然后:

  • 精确率 = 被标记的真正跟踪器 / 被标记的一切。精确率低会弄坏无害的网站。
  • 召回率 = 被标记的真正跟踪器 / 所有真正的跟踪器。召回率低会让跟踪器溜过去。

永远要在留出的行上测量,也就是模型从没训练过的那些行。在训练行上打分会让它显得比实际更好。测试走得更远,会在一个它从没见过的网络的爬取上给你的模型打分。

一个常见的误解:“模型学会了什么是跟踪器。”它学会的是和给数据打标签的那份拦截列表保持一致,连同列表的错误一起。如果列表对某个网站的判断是错的,模型也会被教成错的。第 149 课会回到这一点。

用其他语言实现

在其他语言里实现预测和一次学习步骤:

// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
  const err = predict(w, b, row.x) - row.y;
  return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}
// C#
double Predict(double[] w, double b, double[] x) {
    double z = b;
    for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
    return 1.0 / (1.0 + Math.Exp(-z));
}

回顾

  • 分类器学习跟踪器的行为,所以它能标记出还没有任何列表点名的跟踪器。
  • 逻辑回归:权衡特征,用 sigmoid 压缩,再根据误差微调权重。
  • 用它从没训练过的行上的精确率和召回率来评判它。
  • 它学到的是标签眼中的世界,连同其中的错误。
轮到你了

用普通的 Python 编写三个函数:

  1. predict(weights, bias, x):z = sum(weights[i] * x[i]) + bias 的 sigmoid 1 / (1 + math.exp(-z))。
  2. train(rows, epochs=100, lr=0.5):从全为零的权重(每个特征一个)和偏置 0.0 开始;在每个轮次里,按顺序对每一行计算 error = predict(...) - row["y"],然后把每个权重更新 - lr * error * x[i],把偏置更新 - lr * error。返回 (weights, bias)。
  3. precision_recall(weights, bias, rows, threshold=0.5):当预测值至少达到阈值时标记这一行;返回 (precision, recall),当出现除以零的情况时使用 0.0。(约定各有不同:一个什么都没标记的拦截器没有产生任何误报,有些评分者会把这种情况的精确率算作 1.0。两种都说得通;报告里应该说明用的是哪一种。)
然后用 data["train"] 设置 weights, bias,并在 data["test"] 上设置 test_precision, test_recall。测试会在一个你的模型从没见过的模拟网络上给它打分:两者都至少要达到 0.80。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。