シラバス レッスン 156 中 148 · 研究者のようにウェブを測る
研究者のようにウェブを測る

トラッカーの分類器を学習させる

なぜ大切か ブロックリストは人が書くもので、常に遅れを取ります。新しいトラッカーは毎週現れます。分類器は、トラッカーがどう 振る舞う かを学ぶので、まだどの一覧も名前を挙げていないものを指摘できます。小さなものを自分で作ってみると、そうした道具に何ができるのか、そしてそれをどう正直に判断するかがわかります。

経験豊かな用心棒を考えてください。誰も厄介者全員の一覧を渡してはいませんが、用心棒はしるしを学んでいて、それを合わせて考えます。しるしがひとつなら大した意味はなく、3 つそろえば大きな意味があります。分類器は数で同じことをします。

データ

watched.leg7b_web の tracker_dataset(seed) は、シミュレーションしたウェブを巡回し、見たすべてのサードパーティについて、それぞれ 0 から 1 に縮めた 6 つの振る舞いを測ります。いくつのサイトにいるか、どれだけ Cookie を設定するか、どれだけ小さな画像(ピクセル)を送るか、その URL がどれだけ長い ID のような値を運ぶか、どれだけページのアドレスを運ぶか、そしてそのレスポンスがどれだけ小さいかです。各行にはラベル y もあります。ブロックリストがトラッカーと呼べば 1、そうでなければ 0 です。

from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])

3 つの考え方で見るロジスティック回帰

重み:ひとつの特徴が証拠としてどれだけ数えられるかを表す数です。正なら「これが多いほど、トラッカーらしい」という意味です。

1. 証拠を量る。 各特徴にその重みを掛けて足し合わせ、バイアス(出発点の傾き)を足します:z = w1*x1 + w2*x2 + ... + bias。

2. 確率に押しつぶす。 シグモイド 関数 1 / (1 + math.exp(-z)) は、どんな数も 0 と 1 の間の数に変えます。大きな正の z ならほぼ 1、大きな負ならほぼ 0、ゼロなら 0.5 です。

3. 間違いから学ぶ。 すべての重みを 0 から始めます。学習用の各行について、error = prediction - y を計算します。それから各重みを少し動かします:w = w - lr * error * x、そしてバイアスを bias - lr * error で。lr(学習率)が動かす大きさを決めます。すべての行を一度たどることが エポック で、それを何エポックも繰り返します。

import math
def sigmoid(z):
    return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3))   # 0.5 0.982 0.018

判断する:適合率と再現率

これらには第 2 部で出会いました。確率が 0.5 以上なら「トラッカー」と言います。すると:

  • 適合率 = 指摘した本物のトラッカー / 指摘したすべて。適合率が低いと、無害なサイトを壊します。
  • 再現率 = 指摘した本物のトラッカー / すべての本物のトラッカー。再現率が低いと、トラッカーを通してしまいます。

常に、モデルが一度も学習していない 取り置いた 行で測ってください。学習した行で採点すると、モデルを持ち上げてしまいます。テストはさらに進んで、一度も見たことのないウェブの巡回であなたのモデルを採点します。

よくある誤解:「モデルはトラッカーとは何かを学んだ」。モデルが学んだのは、データにラベルを付けたブロックリストに、間違いも含めて同意することです。一覧があるサイトについて間違っていれば、モデルも間違えるよう教えられます。レッスン 149 でこの話に戻ります。

ほかの言語では

ほかの言語での予測と学習の一歩:

// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
  const err = predict(w, b, row.x) - row.y;
  return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}
// C#
double Predict(double[] w, double b, double[] x) {
    double z = b;
    for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
    return 1.0 / (1.0 + Math.Exp(-z));
}

まとめ

  • 分類器はトラッカーの振る舞いを学ぶので、まだどの一覧も名前を挙げていないトラッカーを指摘できます。
  • ロジスティック回帰:特徴を量り、シグモイドで押しつぶし、誤差で重みを少し動かします。
  • 一度も学習していない行での適合率と再現率で判断します。
  • モデルが学ぶのは、間違いも含めて、ラベルから見た世界です。
あなたの番

ふつうの Python で 3 つの関数を書いてください:

  1. predict(weights, bias, x):z = sum(weights[i] * x[i]) + bias のシグモイド 1 / (1 + math.exp(-z))。
  2. train(rows, epochs=100, lr=0.5):ゼロの重み(特徴ごとにひとつ)とバイアス 0.0 から始めます。各エポックで、各行について順に error = predict(...) - row["y"] を計算し、それからすべての重みを - lr * error * x[i] だけ、バイアスを - lr * error だけ更新します。(weights, bias) を返します。
  3. precision_recall(weights, bias, rows, threshold=0.5):予測がしきい値以上なら行を指摘し、(precision, recall) を返します。ゼロで割ることになるときは 0.0 を使います。(取り決めはまちまちです。何も指摘しなかったブロッカーは誤報を出していないので、その適合率を 1.0 と数える採点者もいます。どちらも擁護できます。報告書はどちらを使うかを述べるべきです。)
それから data["train"] から weights, bias を、data["test"] で test_precision, test_recall を設定します。テストは、一度も見たことのないシミュレーションしたウェブであなたのモデルを採点します。どちらも少なくとも 0.80 です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。