Una sola regla detrás de cada comprobación de "¿es real?"
Por qué importa Este curso ha juzgado diferencias de al menos cuatro maneras: un intervalo emparejado (Módulo 9), "0.1 más alto y más alto en cada semilla" (Módulos 16 y 17), y 2 errores estándar (este módulo). Todas son la misma idea, y saberlo te deja elegir la correcta, y saber cuándo una es demasiado generosa.
Cada regla compara una diferencia con su ruido. Dos elecciones cambian la respuesta:
- Emparejado o no. Cuando los dos modelos se puntúan con los mismos elementos (las imágenes de prueba del Módulo 9), resta elemento a elemento primero: lo difícil que es cada elemento se cancela, el ruido encoge, y se ven diferencias reales pequeñas. Para dos clasificadores con los mismos elementos, la cuenta más limpia son solo los elementos en los que no están de acuerdo (la prueba de McNemar). Las semillas de ejecuciones separadas no están emparejadas: compara los dos grupos enteros.
- Lo estricto que es el corte. 2 errores estándar supone que conoces el ruido. Con 3 semillas por lado lo estimaste a partir de 3 números cada uno, y esa estimación puede quedarse corta con facilidad. La t de Student lo tiene en cuenta: el corte pasa a ser
stats.t.ppf(0.975, df)errores estándar, donde df (los grados de libertad) sale de la fórmula de Welch,df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))conva = var(a) / na. Con 3 semillas por lado df está entre 2 y 4, y el corte entre 2.8 y 4.3, no 2.
Predice primero: en la cuadrícula grabada, ¿el corte más estricto llega a tumbar algún "mostrado" de la regla de 2 errores estándar?
Palabras y símbolos de esta lección
- semilla
- el número que fija las elecciones aleatorias de una ejecución; otra semilla da otro resultado
- error estándar
- cuánto se movería una diferencia medida si se volvieran a ejecutar las semillas
Pon en my_guess "yes" (sí) o "no". Escribe welch(a, b) que devuelva (diff, se, df) para dos listas de pérdidas por semilla (diff = mean(a) - mean(b): positivo cuando b, el modelo más grande, es mejor). Luego, para cada caso de CASES, rellena result[case] con un dict: 'ratio' (diff / se), 'cutoff' (el corte de t), 'two_se' y 't' ("shown" o "not shown" según cada regla). Pon en disagree la lista de los casos en los que las dos reglas difieren.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.