シラバス レッスン 156 中 51 · ブロッカーを作る
ブロッカーを作る

適合率と再現率

なぜ大切か どのブロッカーも 2 種類の間違いをします。トラッカーを通すか、ページが必要とするものをブロックしてサイトを壊すかです。「私のブロッカーは働く」は、その両方に数字を付けられるまで何の意味もありません。この 2 つの数字が、研究者とブラウザの作り手がブロッカーを正直に比べる方法です。

漁網

サバだけを捕まえるための漁網を思い浮かべてください。それが良いかどうかを決める問いが 2 つあります:

  • 網の中のすべてのうち、サバはどれだけか?(サバを全部捕まえても、イルカでいっぱいの網は悪い網です。)
  • 海のすべてのサバのうち、網はいくつを捕まえたか?

1 つ目の問いが 適合率 です。2 つ目が 再現率 です。両方が必要です。穴のない網は、すべてのサバと、すべてのイルカも捕まえます。

4 つの箱

ログのすべてのリクエストを、4 つの箱のどれかに分けます:

ブロックした許可した
本当にトラッカー真陽性(tp):捕まえた、良い偽陰性(fn):プライバシーの漏れ
トラッカーではない偽陽性(fp):壊れるかもしれない真陰性(tn):問題ない

適合率:tp / (tp + fp)。ブロックしたもののうち、本当にトラッカーだった割合です。適合率が低いとページが壊れます。

再現率:tp / (tp + fn)。すべてのトラッカーのリクエストのうち、ブロックした割合です。再現率が低いと漏れます。

計算例です。ブロッカーが 40 のリクエストを止めます。36 がトラッカーへ、4 が無害な CDN へです。さらに 12 のトラッカーのリクエストが通りました。適合率は 36 / 40 = 0.9。再現率は 36 / 48 = 0.75。つまり、ブロックするときはたいてい正しいけれど、追跡の 4 分の 1 はまだ起こっています。

端の場合には決めごとが必要です。ブロッカーが何もブロックしなければ、適合率は 0 / 0 になります。私たちは 1.0 とします。間違ってブロックしたものは何もないからです。ログにトラッカーのリクエストがまったくなければ、再現率も 1.0 です。何も漏れていないからです。そうした取り決めを書き留めることも、正直に測ることの一部です。

真実はどこかから来る

採点できるのは、解答、つまり本当にトラッカーであるサイトの集合と比べてだけです。練習用の世界ではそれがわかっています。本物の研究では、人がそれをサイトごとに手で作り、それは遅くて不完全です。何をトラッカーとして数えるかを誰が決めたのかを、常に尋ねてください。

よくある誤解

「再現率は高いほど常に良い」。すべてのサードパーティのリクエストをブロックすれば完璧な再現率になり、ログイン、決済、地図、動画が壊れます。すると人はブロッカーをオフにし、何の守りもなくなります。少し低い再現率でも適合率が高いほうが、実際にはより多くの人を守ることがよくあります。

試してみよう 多くのブロッカーの拡張機能は、ページごとにブロックしたリクエストの数を表示します。ブロッカーをオンにするとおかしくなるサイトを選び、そのサイトについてオフにして、何が動き始めるかを見てください。たった今、偽陽性を見つけたのです。

ほかの言語では

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

まとめ

  • 適合率:ブロックしたもののうち、本当に追跡だったのはどれだけか(低いと壊れる)。
  • 再現率:すべての追跡のうち、どれだけをブロックしたか(低いと漏れる)。
  • 端の場合の取り決めを述べ、解答がどこから来たかを知っておきましょう。
  • すべてをブロックすれば再現率は最大になり、適合率は台無しになります。
あなたの番

score(log, trackers) を書いてください。各記録について、site_of(record.url) in trackers ならトラッカーのリクエストで、record.outcome == "blocked" ならブロックされたものです。tp、fp、fn、tn を数え、その 4 つに加えて precision(tp / (tp + fp)、何もブロックされなければ 1.0)と recall(tp / (tp + fn)、トラッカーのリクエストがなければ 1.0)を持つ辞書を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。