Precisão e revocação
Por que isso importa Todo bloqueador comete dois tipos de erro: deixa rastreadores passarem, ou bloqueia algo de que uma página precisa e quebra o site. Dizer "meu bloqueador funciona" não significa nada até você conseguir colocar um número nos dois. Esses dois números são como pesquisadores, e fabricantes de navegadores, comparam bloqueadores com honestidade.
Uma rede de pesca
Imagine uma rede de pesca feita para pegar só cavalinhas. Duas perguntas decidem se ela presta:
- De tudo o que está na rede, quanto é cavalinha? (Uma rede cheia de golfinhos é uma rede ruim, mesmo que tenha pegado todas as cavalinhas.)
- De todas as cavalinhas do mar, quantas a rede pegou?
A primeira pergunta é a precisão. A segunda é a revocação. Você precisa das duas: uma rede sem buracos pega todas as cavalinhas e todos os golfinhos também.
As quatro caixas
Separe cada requisição do registro numa de quatro caixas:
| Bloqueada | Permitida | |
|---|---|---|
| É mesmo um rastreador | Verdadeiro positivo (tp): pego, ótimo | Falso negativo (fn): um vazamento de privacidade |
| Não é rastreador | Falso positivo (fp): possível quebra | Verdadeiro negativo (tn): tudo certo |
Precisão: tp / (tp + fp): do que você bloqueou, a fatia que realmente era rastreador. Precisão baixa significa páginas quebradas.
Revocação: tp / (tp + fn): de todas as requisições de rastreadores, a fatia que você bloqueou. Revocação baixa significa vazamentos.
Um exemplo resolvido. Um bloqueador impede 40 requisições: 36 para rastreadores e 4 para a CDN inofensiva. Outras 12 requisições de rastreadores passaram. A precisão é 36 / 40 = 0,9. A revocação é 36 / 48 = 0,75. Ou seja: quando ele bloqueia, costuma acertar, mas um quarto do rastreamento ainda acontece.
Casos extremos exigem uma decisão. Se o bloqueador não bloqueou nada, a precisão seria 0 / 0. Dizemos 1,0: nada foi bloqueado por engano. Se o registro não tem nenhuma requisição de rastreador, a revocação também é 1,0: nada vazou. Anotar convenções assim faz parte de medir com honestidade.
A verdade vem de algum lugar
Você só consegue pontuar contra um gabarito: o conjunto de sites que realmente são rastreadores. No mundo de prática nós o conhecemos. Na pesquisa real, as pessoas o constroem à mão, site por site, o que é lento e imperfeito. Sempre pergunte quem decidiu o que conta como rastreador.
Um equívoco comum
"Revocação mais alta é sempre melhor." Bloquear todas as requisições de terceiros dá revocação perfeita, e quebra logins, pagamentos, mapas e vídeos. As pessoas então desligam o bloqueador e acabam sem nenhuma proteção. Uma revocação um pouco menor com alta precisão muitas vezes protege mais gente na prática.
Experimente Muitas extensões de bloqueio mostram a contagem de requisições bloqueadas por página. Escolha um site que se comporta mal com o bloqueador ligado, depois desligue-o para esse site e veja o que volta a funcionar. Você acabou de encontrar um falso positivo.
Em outras linguagens
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Resumo
- Precisão: do que você bloqueou, quanto era mesmo rastreamento (baixa significa quebras).
- Revocação: de todo o rastreamento, quanto você bloqueou (baixa significa vazamentos).
- Declare as suas convenções para casos extremos, e saiba de onde veio o gabarito.
- Bloquear tudo maximiza a revocação e arruína a precisão.
Escreva score(log, trackers). Para cada registro, é uma requisição de rastreador se site_of(record.url) in trackers, e foi bloqueada se record.outcome == "blocked". Conte tp, fp, fn e tn, e retorne um dict com esses quatro mais precision (tp / (tp + fp), ou 1.0 quando nada foi bloqueado) e recall (tp / (tp + fn), ou 1.0 quando não houve requisições de rastreadores).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.