정밀도와 재현율
왜 중요한가 모든 차단기는 두 종류의 실수를 해요: 추적기를 통과시키거나, 페이지에 필요한 걸 막아 사이트를 망가뜨려요. 둘 다에 숫자를 붙일 수 있을 때까지 "내 차단기는 작동한다"는 아무 뜻도 없어요. 이 두 숫자가 연구자와 브라우저 제작자가 차단기를 정직하게 비교하는 방법이에요.
고기잡이 그물
고등어만 잡으려는 그물을 떠올려 보세요. 두 질문이 그물이 좋은지 정해요:
- 그물 속 모든 것 중 고등어는 얼마나 되나요? (돌고래로 가득한 그물은, 고등어를 다 잡았더라도 나쁜 그물이에요.)
- 바다의 모든 고등어 중 그물이 몇 마리를 잡았나요?
첫 질문이 정밀도예요. 두 번째가 재현율이에요. 둘 다 필요해요: 구멍 없는 그물은 모든 고등어와 모든 돌고래도 잡아요.
네 칸
기록의 모든 요청을 네 칸 중 하나로 나누세요:
| 차단됨 | 허용됨 | |
|---|---|---|
| 정말 추적기 | 참 양성(tp): 잡음, 좋아요 | 거짓 음성(fn): 프라이버시 누출 |
| 추적기 아님 | 거짓 양성(fp): 망가질 수 있음 | 참 음성(tn): 괜찮아요 |
정밀도: tp / (tp + fp): 막은 것 중 정말 추적기였던 몫. 정밀도가 낮으면 페이지가 망가져요.
재현율: tp / (tp + fn): 모든 추적기 요청 중 막은 몫. 재현율이 낮으면 새요.
풀어 본 예. 차단기가 요청 40개를 멈춰요: 추적기로 가는 36개와 해 없는 CDN으로 가는 4개. 추적기 요청 12개는 더 통과했어요. 정밀도는 36 / 40 = 0.9. 재현율은 36 / 48 = 0.75. 그러니: 막을 때는 대개 맞지만, 추적의 4분의 1은 여전히 일어나요.
극단적인 경우엔 결정이 필요해요. 차단기가 아무것도 막지 않았다면 정밀도는 0 / 0이 될 거예요. 우리는 1.0이라고 해요: 잘못 막은 게 없으니까요. 기록에 추적기 요청이 하나도 없으면 재현율도 1.0이에요: 샌 게 없으니까요. 이런 약속을 적어 두는 것도 정직하게 재는 일의 일부예요.
정답은 어딘가에서 와요
답안, 즉 정말 추적기인 사이트의 집합과 대조해서만 점수를 매길 수 있어요. 연습 세계에서는 우리가 알아요. 실제 연구에서는 사람들이 사이트 하나하나 손으로 만들고, 느리고 불완전해요. 무엇을 추적기로 칠지 누가 정했는지 언제나 물으세요.
흔한 오해
"재현율이 높을수록 언제나 좋다." 모든 서드파티 요청을 막으면 재현율은 완벽하지만, 로그인, 결제, 지도, 동영상이 망가져요. 그러면 사람들은 차단기를 끄고 아무 보호도 없게 돼요. 정밀도가 높고 재현율이 조금 낮은 게 실제로는 흔히 더 많은 사람을 지켜요.
해 보기 많은 차단기 확장 프로그램이 페이지당 막은 요청 수를 보여 줘요. 차단기를 켜면 이상하게 구는 사이트를 골라, 그 사이트에서 끄고 무엇이 작동하기 시작하는지 보세요. 방금 거짓 양성을 찾았어요.
다른 언어로
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}요약
- 정밀도: 막은 것 중 정말 추적이었던 것(낮으면 망가짐).
- 재현율: 모든 추적 중 막은 것(낮으면 누출).
- 극단적인 경우의 약속을 밝히고, 답안이 어디서 왔는지 아세요.
- 모든 걸 막으면 재현율은 최대가 되고 정밀도는 망가져요.
score(log, trackers)를 쓰세요. 각 기록에 대해 site_of(record.url) in trackers이면 추적기 요청이고, record.outcome == "blocked"이면 차단된 거예요. tp, fp, fn, tn을 세고, 그 넷과 함께 precision(tp / (tp + fp), 아무것도 막지 않았으면 1.0)과 recall(tp / (tp + fn), 추적기 요청이 없었으면 1.0)을 담은 dict를 반환하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.