Conteúdo do curso Lição 51 de 156 · Construa um bloqueador
Construa um bloqueador

Precisão e revocação

Por que isso importa Todo bloqueador comete dois tipos de erro: deixa rastreadores passarem, ou bloqueia algo de que uma página precisa e quebra o site. Dizer "meu bloqueador funciona" não significa nada até você conseguir colocar um número nos dois. Esses dois números são como pesquisadores, e fabricantes de navegadores, comparam bloqueadores com honestidade.

Uma rede de pesca

Imagine uma rede de pesca feita para pegar só cavalinhas. Duas perguntas decidem se ela presta:

  • De tudo o que está na rede, quanto é cavalinha? (Uma rede cheia de golfinhos é uma rede ruim, mesmo que tenha pegado todas as cavalinhas.)
  • De todas as cavalinhas do mar, quantas a rede pegou?

A primeira pergunta é a precisão. A segunda é a revocação. Você precisa das duas: uma rede sem buracos pega todas as cavalinhas e todos os golfinhos também.

As quatro caixas

Separe cada requisição do registro numa de quatro caixas:

BloqueadaPermitida
É mesmo um rastreadorVerdadeiro positivo (tp): pego, ótimoFalso negativo (fn): um vazamento de privacidade
Não é rastreadorFalso positivo (fp): possível quebraVerdadeiro negativo (tn): tudo certo

Precisão: tp / (tp + fp): do que você bloqueou, a fatia que realmente era rastreador. Precisão baixa significa páginas quebradas.

Revocação: tp / (tp + fn): de todas as requisições de rastreadores, a fatia que você bloqueou. Revocação baixa significa vazamentos.

Um exemplo resolvido. Um bloqueador impede 40 requisições: 36 para rastreadores e 4 para a CDN inofensiva. Outras 12 requisições de rastreadores passaram. A precisão é 36 / 40 = 0,9. A revocação é 36 / 48 = 0,75. Ou seja: quando ele bloqueia, costuma acertar, mas um quarto do rastreamento ainda acontece.

Casos extremos exigem uma decisão. Se o bloqueador não bloqueou nada, a precisão seria 0 / 0. Dizemos 1,0: nada foi bloqueado por engano. Se o registro não tem nenhuma requisição de rastreador, a revocação também é 1,0: nada vazou. Anotar convenções assim faz parte de medir com honestidade.

A verdade vem de algum lugar

Você só consegue pontuar contra um gabarito: o conjunto de sites que realmente são rastreadores. No mundo de prática nós o conhecemos. Na pesquisa real, as pessoas o constroem à mão, site por site, o que é lento e imperfeito. Sempre pergunte quem decidiu o que conta como rastreador.

Um equívoco comum

"Revocação mais alta é sempre melhor." Bloquear todas as requisições de terceiros dá revocação perfeita, e quebra logins, pagamentos, mapas e vídeos. As pessoas então desligam o bloqueador e acabam sem nenhuma proteção. Uma revocação um pouco menor com alta precisão muitas vezes protege mais gente na prática.

Experimente Muitas extensões de bloqueio mostram a contagem de requisições bloqueadas por página. Escolha um site que se comporta mal com o bloqueador ligado, depois desligue-o para esse site e veja o que volta a funcionar. Você acabou de encontrar um falso positivo.

Em outras linguagens

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Resumo

  • Precisão: do que você bloqueou, quanto era mesmo rastreamento (baixa significa quebras).
  • Revocação: de todo o rastreamento, quanto você bloqueou (baixa significa vazamentos).
  • Declare as suas convenções para casos extremos, e saiba de onde veio o gabarito.
  • Bloquear tudo maximiza a revocação e arruína a precisão.
Sua vez

Escreva score(log, trackers). Para cada registro, é uma requisição de rastreador se site_of(record.url) in trackers, e foi bloqueada se record.outcome == "blocked". Conte tp, fp, fn e tn, e retorne um dict com esses quatro mais precision (tp / (tp + fp), ou 1.0 quando nada foi bloqueado) e recall (tp / (tp + fn), ou 1.0 quando não houve requisições de rastreadores).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.