Temario Lección 235 de 246 · Módulo 22: Juzgar afirmaciones
Módulo 22: Juzgar afirmaciones

Prueba de paso: revisa una afirmación (IA apagada)

Por qué importa Leer resultados con espíritu crítico es una habilidad que usarás en cada artículo, ficha de modelo y tabla de benchmarks. Las reglas son sencillas; aplicarlas cada vez, sin que nadie te diga cuál importa, es la habilidad.

Reglas de la prueba de paso: tutor de IA apagado. Escribe review(claim). Una afirmación dice "el modelo A le gana al modelo B" y viene con la pérdida de cada semilla de cada modelo y la proporción del conjunto de prueba que aparece en los datos de entrenamiento. En orden:

  1. Si más del 10% del conjunto de prueba estaba en los datos de entrenamiento, devuelve "leaked" (filtrado): no se puede confiar en ninguna puntuación sobre él.
  2. Si alguno de los modelos tiene menos de 2 semillas, devuelve "not shown" (no mostrado): la dispersión es desconocida.
  3. Sea diff = mean(B) - mean(A) (positivo cuando A es mejor) y se = sqrt(var(A) / nA + var(B) / nB), varianzas muestrales (ddof=1). Devuelve "shown" (mostrado) si diff > 2 se, "contradicted" (contradicho) si diff < -2 se, y si no, "not shown".

La comprobación ejecuta tu función con seis afirmaciones nuevas, distintas en cada comprobación, incluidos los casos límite: una semilla, exactamente un 10% de solapamiento, semillas que coinciden exactamente.

Palabras y símbolos de esta lección
contaminación (filtración)
elementos de prueba que también estaban en los datos de entrenamiento
semilla
el número que fija las elecciones aleatorias de una ejecución; otra semilla da otro resultado
Tu turno

Rellena review. Pruébalo con {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (las anchuras grabadas 1024 y 512 con 1.5 millones de tokens).

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.