Prueba de paso: revisa una afirmación (IA apagada)
Por qué importa Leer resultados con espíritu crítico es una habilidad que usarás en cada artículo, ficha de modelo y tabla de benchmarks. Las reglas son sencillas; aplicarlas cada vez, sin que nadie te diga cuál importa, es la habilidad.
Reglas de la prueba de paso: tutor de IA apagado. Escribe review(claim). Una afirmación dice "el modelo A le gana al modelo B" y viene con la pérdida de cada semilla de cada modelo y la proporción del conjunto de prueba que aparece en los datos de entrenamiento. En orden:
- Si más del 10% del conjunto de prueba estaba en los datos de entrenamiento, devuelve "leaked" (filtrado): no se puede confiar en ninguna puntuación sobre él.
- Si alguno de los modelos tiene menos de 2 semillas, devuelve "not shown" (no mostrado): la dispersión es desconocida.
- Sea diff = mean(B) - mean(A) (positivo cuando A es mejor) y se = sqrt(var(A) / nA + var(B) / nB), varianzas muestrales (
ddof=1). Devuelve "shown" (mostrado) si diff > 2 se, "contradicted" (contradicho) si diff < -2 se, y si no, "not shown".
La comprobación ejecuta tu función con seis afirmaciones nuevas, distintas en cada comprobación, incluidos los casos límite: una semilla, exactamente un 10% de solapamiento, semillas que coinciden exactamente.
Palabras y símbolos de esta lección
- contaminación (filtración)
- elementos de prueba que también estaban en los datos de entrenamiento
- semilla
- el número que fija las elecciones aleatorias de una ejecución; otra semilla da otro resultado
Rellena review. Pruébalo con {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (las anchuras grabadas 1024 y 512 con 1.5 millones de tokens).
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.