適合率と再現率
なぜ大切か どのブロッカーも 2 種類の間違いをします。トラッカーを通すか、ページが必要とするものをブロックしてサイトを壊すかです。「私のブロッカーは働く」は、その両方に数字を付けられるまで何の意味もありません。この 2 つの数字が、研究者とブラウザの作り手がブロッカーを正直に比べる方法です。
漁網
サバだけを捕まえるための漁網を思い浮かべてください。それが良いかどうかを決める問いが 2 つあります:
- 網の中のすべてのうち、サバはどれだけか?(サバを全部捕まえても、イルカでいっぱいの網は悪い網です。)
- 海のすべてのサバのうち、網はいくつを捕まえたか?
1 つ目の問いが 適合率 です。2 つ目が 再現率 です。両方が必要です。穴のない網は、すべてのサバと、すべてのイルカも捕まえます。
4 つの箱
ログのすべてのリクエストを、4 つの箱のどれかに分けます:
| ブロックした | 許可した | |
|---|---|---|
| 本当にトラッカー | 真陽性(tp):捕まえた、良い | 偽陰性(fn):プライバシーの漏れ |
| トラッカーではない | 偽陽性(fp):壊れるかもしれない | 真陰性(tn):問題ない |
適合率:tp / (tp + fp)。ブロックしたもののうち、本当にトラッカーだった割合です。適合率が低いとページが壊れます。
再現率:tp / (tp + fn)。すべてのトラッカーのリクエストのうち、ブロックした割合です。再現率が低いと漏れます。
計算例です。ブロッカーが 40 のリクエストを止めます。36 がトラッカーへ、4 が無害な CDN へです。さらに 12 のトラッカーのリクエストが通りました。適合率は 36 / 40 = 0.9。再現率は 36 / 48 = 0.75。つまり、ブロックするときはたいてい正しいけれど、追跡の 4 分の 1 はまだ起こっています。
端の場合には決めごとが必要です。ブロッカーが何もブロックしなければ、適合率は 0 / 0 になります。私たちは 1.0 とします。間違ってブロックしたものは何もないからです。ログにトラッカーのリクエストがまったくなければ、再現率も 1.0 です。何も漏れていないからです。そうした取り決めを書き留めることも、正直に測ることの一部です。
真実はどこかから来る
採点できるのは、解答、つまり本当にトラッカーであるサイトの集合と比べてだけです。練習用の世界ではそれがわかっています。本物の研究では、人がそれをサイトごとに手で作り、それは遅くて不完全です。何をトラッカーとして数えるかを誰が決めたのかを、常に尋ねてください。
よくある誤解
「再現率は高いほど常に良い」。すべてのサードパーティのリクエストをブロックすれば完璧な再現率になり、ログイン、決済、地図、動画が壊れます。すると人はブロッカーをオフにし、何の守りもなくなります。少し低い再現率でも適合率が高いほうが、実際にはより多くの人を守ることがよくあります。
試してみよう 多くのブロッカーの拡張機能は、ページごとにブロックしたリクエストの数を表示します。ブロッカーをオンにするとおかしくなるサイトを選び、そのサイトについてオフにして、何が動き始めるかを見てください。たった今、偽陽性を見つけたのです。
ほかの言語では
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}まとめ
- 適合率:ブロックしたもののうち、本当に追跡だったのはどれだけか(低いと壊れる)。
- 再現率:すべての追跡のうち、どれだけをブロックしたか(低いと漏れる)。
- 端の場合の取り決めを述べ、解答がどこから来たかを知っておきましょう。
- すべてをブロックすれば再現率は最大になり、適合率は台無しになります。
score(log, trackers) を書いてください。各記録について、site_of(record.url) in trackers ならトラッカーのリクエストで、record.outcome == "blocked" ならブロックされたものです。tp、fp、fn、tn を数え、その 4 つに加えて precision(tp / (tp + fp)、何もブロックされなければ 1.0)と recall(tp / (tp + fn)、トラッカーのリクエストがなければ 1.0)を持つ辞書を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。