Temario Lección 109 de 246 · Módulo 9: ¿De verdad es mejor?
Módulo 9: ¿De verdad es mejor?

Comparar dos modelos con justicia

Por qué importa Volvemos a la lección 1. Esta es la forma correcta de decidir.

Los dos modelos respondieron los mismos 100 elementos. Así que no pongas barras de error a cada puntuación por separado; pon una a la diferencia, remuestreando los elementos por parejas. Cada remuestra elige 100 elementos con reemplazo y calcula la exactitud de B menos la de A con esos mismos elementos. Si el intervalo del 95% de esa diferencia incluye el 0, los datos no pueden distinguir los modelos.

Comparación emparejada: comparar dos modelos elemento a elemento con el mismo conjunto de prueba, lo que cancela lo difícil que es cada elemento.

Cómo se eligieron las 100 imágenes de la lección 1, con honestidad: los lectores son simulados, y el curso eligió una tirada de 100 imágenes en la que A resulta ir 4 puntos por delante de B. En 2,000 tiradas aleatorias de 100 imágenes, A iba 4 puntos o más por delante solo el 8% de las veces; B salió por delante en la mitad, y el 14% fueron empates. Es un tipo de suerte real, elegido para dejar clara la idea: un solo conjunto de prueba de 100 puede apuntar en la dirección equivocada.

Palabras y símbolos de esta lección
bootstrap
remuestrear tu conjunto de prueba con repeticiones para ver cuánto se bambolea una puntuación
intervalo del 95%
el 95% central de las puntuaciones remuestreadas
comparación emparejada
comparar dos modelos con los mismos elementos, elemento a elemento
Tu turno

Escribe paired_diff_ci(a, b, n=2000, seed=0) (el intervalo de B menos A, remuestreando los índices de los elementos como en la lección del bootstrap) y verdict(a, b) que devuelva "A", "B" o "no clear difference". Ejecútala con los modelos de la lección 1.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.