Comparar dos modelos con justicia
Por qué importa Volvemos a la lección 1. Esta es la forma correcta de decidir.
Los dos modelos respondieron los mismos 100 elementos. Así que no pongas barras de error a cada puntuación por separado; pon una a la diferencia, remuestreando los elementos por parejas. Cada remuestra elige 100 elementos con reemplazo y calcula la exactitud de B menos la de A con esos mismos elementos. Si el intervalo del 95% de esa diferencia incluye el 0, los datos no pueden distinguir los modelos.
Comparación emparejada: comparar dos modelos elemento a elemento con el mismo conjunto de prueba, lo que cancela lo difícil que es cada elemento.
Cómo se eligieron las 100 imágenes de la lección 1, con honestidad: los lectores son simulados, y el curso eligió una tirada de 100 imágenes en la que A resulta ir 4 puntos por delante de B. En 2,000 tiradas aleatorias de 100 imágenes, A iba 4 puntos o más por delante solo el 8% de las veces; B salió por delante en la mitad, y el 14% fueron empates. Es un tipo de suerte real, elegido para dejar clara la idea: un solo conjunto de prueba de 100 puede apuntar en la dirección equivocada.
Palabras y símbolos de esta lección
- bootstrap
- remuestrear tu conjunto de prueba con repeticiones para ver cuánto se bambolea una puntuación
- intervalo del 95%
- el 95% central de las puntuaciones remuestreadas
- comparación emparejada
- comparar dos modelos con los mismos elementos, elemento a elemento
Escribe paired_diff_ci(a, b, n=2000, seed=0) (el intervalo de B menos A, remuestreando los índices de los elementos como en la lección del bootstrap) y verdict(a, b) que devuelva "A", "B" o "no clear difference". Ejecútala con los modelos de la lección 1.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.