Temario Lección 51 de 156 · Construye un bloqueador
Construye un bloqueador

Precisión y exhaustividad

Por qué importa Todo bloqueador comete dos tipos de error: deja pasar rastreadores, o bloquea algo que una página necesita y rompe el sitio. Decir "mi bloqueador funciona" no significa nada hasta que puedes ponerle un número a las dos cosas. Estos dos números son la forma en que los investigadores, y los fabricantes de navegadores, comparan bloqueadores con honestidad.

Una red de pesca

Imagina una red de pesca pensada para atrapar solo caballas. Dos preguntas deciden si sirve:

  • De todo lo que hay en la red, ¿cuánto es caballa? (Una red llena de delfines es una mala red, aunque haya atrapado todas las caballas.)
  • De todas las caballas del mar, ¿cuántas atrapó la red?

La primera pregunta es la precisión. La segunda es la exhaustividad (recall). Necesitas las dos: una red sin agujeros atrapa todas las caballas y también todos los delfines.

Las cuatro casillas

Clasifica cada petición del registro en una de cuatro casillas:

BloqueadaPermitida
Es de verdad un rastreadorVerdadero positivo (tp): atrapado, bienFalso negativo (fn): una fuga de privacidad
No es un rastreadorFalso positivo (fp): posible roturaVerdadero negativo (tn): bien

Precisión: tp / (tp + fp): de lo que bloqueaste, la parte que eran rastreadores de verdad. Una precisión baja significa páginas rotas.

Exhaustividad: tp / (tp + fn): de todas las peticiones de rastreadores, la parte que bloqueaste. Una exhaustividad baja significa fugas.

Un ejemplo resuelto. Un bloqueador detiene 40 peticiones: 36 a rastreadores y 4 a la CDN inofensiva. Otras 12 peticiones de rastreadores se colaron. La precisión es 36 / 40 = 0,9. La exhaustividad es 36 / 48 = 0,75. Es decir: cuando bloquea, suele acertar, pero una cuarta parte del rastreo sigue ocurriendo.

Los casos límite necesitan una decisión. Si el bloqueador no bloqueó nada, la precisión sería 0 / 0. Decimos 1.0: no se bloqueó nada por error. Si el registro no tiene ninguna petición de rastreadores, la exhaustividad también es 1.0: no se filtró nada. Dejar por escrito estas convenciones forma parte de medir con honestidad.

La verdad sale de algún sitio

Solo puedes puntuar contra una clave de respuestas: el conjunto de sitios que de verdad son rastreadores. En el mundo de práctica lo sabemos. En la investigación real, la gente la construye a mano, sitio a sitio, y es lento e imperfecto. Pregunta siempre quién decidió qué cuenta como rastreador.

Una idea equivocada muy común

"Más exhaustividad siempre es mejor." Bloquear todas las peticiones de terceros da una exhaustividad perfecta, y rompe los inicios de sesión, los pagos, los mapas y los vídeos. Entonces la gente desactiva el bloqueador y se queda sin ninguna protección. Una exhaustividad algo menor con una precisión alta a menudo protege a más gente en la práctica.

Pruébalo Muchas extensiones de bloqueo muestran una cuenta de las peticiones bloqueadas en cada página. Elige un sitio que funcione mal con el bloqueador activado, desactívalo para ese sitio y mira qué empieza a funcionar. Acabas de encontrar un falso positivo.

En otros lenguajes

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Resumen

  • Precisión: de lo que bloqueaste, cuánto era rastreo de verdad (baja significa roturas).
  • Exhaustividad: de todo el rastreo, cuánto bloqueaste (baja significa fugas).
  • Declara tus convenciones para los casos límite, y conoce de dónde salió la clave de respuestas.
  • Bloquearlo todo maximiza la exhaustividad y arruina la precisión.
Tu turno

Escribe score(log, trackers). Para cada registro, es una petición de rastreador si site_of(record.url) in trackers y se bloqueó si record.outcome == "blocked". Cuenta tp, fp, fn y tn, y devuelve un diccionario con esos cuatro más precision (tp / (tp + fp), o 1.0 cuando no se bloqueó nada) y recall (tp / (tp + fn), o 1.0 cuando no hubo peticiones de rastreadores).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.