Precisión y exhaustividad
Por qué importa Todo bloqueador comete dos tipos de error: deja pasar rastreadores, o bloquea algo que una página necesita y rompe el sitio. Decir "mi bloqueador funciona" no significa nada hasta que puedes ponerle un número a las dos cosas. Estos dos números son la forma en que los investigadores, y los fabricantes de navegadores, comparan bloqueadores con honestidad.
Una red de pesca
Imagina una red de pesca pensada para atrapar solo caballas. Dos preguntas deciden si sirve:
- De todo lo que hay en la red, ¿cuánto es caballa? (Una red llena de delfines es una mala red, aunque haya atrapado todas las caballas.)
- De todas las caballas del mar, ¿cuántas atrapó la red?
La primera pregunta es la precisión. La segunda es la exhaustividad (recall). Necesitas las dos: una red sin agujeros atrapa todas las caballas y también todos los delfines.
Las cuatro casillas
Clasifica cada petición del registro en una de cuatro casillas:
| Bloqueada | Permitida | |
|---|---|---|
| Es de verdad un rastreador | Verdadero positivo (tp): atrapado, bien | Falso negativo (fn): una fuga de privacidad |
| No es un rastreador | Falso positivo (fp): posible rotura | Verdadero negativo (tn): bien |
Precisión: tp / (tp + fp): de lo que bloqueaste, la parte que eran rastreadores de verdad. Una precisión baja significa páginas rotas.
Exhaustividad: tp / (tp + fn): de todas las peticiones de rastreadores, la parte que bloqueaste. Una exhaustividad baja significa fugas.
Un ejemplo resuelto. Un bloqueador detiene 40 peticiones: 36 a rastreadores y 4 a la CDN inofensiva. Otras 12 peticiones de rastreadores se colaron. La precisión es 36 / 40 = 0,9. La exhaustividad es 36 / 48 = 0,75. Es decir: cuando bloquea, suele acertar, pero una cuarta parte del rastreo sigue ocurriendo.
Los casos límite necesitan una decisión. Si el bloqueador no bloqueó nada, la precisión sería 0 / 0. Decimos 1.0: no se bloqueó nada por error. Si el registro no tiene ninguna petición de rastreadores, la exhaustividad también es 1.0: no se filtró nada. Dejar por escrito estas convenciones forma parte de medir con honestidad.
La verdad sale de algún sitio
Solo puedes puntuar contra una clave de respuestas: el conjunto de sitios que de verdad son rastreadores. En el mundo de práctica lo sabemos. En la investigación real, la gente la construye a mano, sitio a sitio, y es lento e imperfecto. Pregunta siempre quién decidió qué cuenta como rastreador.
Una idea equivocada muy común
"Más exhaustividad siempre es mejor." Bloquear todas las peticiones de terceros da una exhaustividad perfecta, y rompe los inicios de sesión, los pagos, los mapas y los vídeos. Entonces la gente desactiva el bloqueador y se queda sin ninguna protección. Una exhaustividad algo menor con una precisión alta a menudo protege a más gente en la práctica.
Pruébalo Muchas extensiones de bloqueo muestran una cuenta de las peticiones bloqueadas en cada página. Elige un sitio que funcione mal con el bloqueador activado, desactívalo para ese sitio y mira qué empieza a funcionar. Acabas de encontrar un falso positivo.
En otros lenguajes
JavaScript:
function score(log, trackers) {
const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
for (const r of log) {
const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
}
s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
return s;
}Go:
precision := 1.0
if tp+fp > 0 {
precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
recall = float64(tp) / float64(tp+fn)
}Resumen
- Precisión: de lo que bloqueaste, cuánto era rastreo de verdad (baja significa roturas).
- Exhaustividad: de todo el rastreo, cuánto bloqueaste (baja significa fugas).
- Declara tus convenciones para los casos límite, y conoce de dónde salió la clave de respuestas.
- Bloquearlo todo maximiza la exhaustividad y arruina la precisión.
Escribe score(log, trackers). Para cada registro, es una petición de rastreador si site_of(record.url) in trackers y se bloqueó si record.outcome == "blocked". Cuenta tp, fp, fn y tn, y devuelve un diccionario con esos cuatro más precision (tp / (tp + fp), o 1.0 cuando no se bloqueó nada) y recall (tp / (tp + fn), o 1.0 cuando no hubo peticiones de rastreadores).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.