Temario Lección 232 de 246 · Módulo 22: Juzgar afirmaciones
Módulo 22: Juzgar afirmaciones

Una semilla es una anécdota

Por qué importa Entrenar el mismo modelo dos veces con semillas aleatorias distintas da resultados distintos. Una diferencia entre dos modelos más pequeña que esa dispersión no es un resultado, y una sola ejecución no puede decirte lo grande que es la dispersión.

Una afirmación: "con 8,000 tokens, la anchura 1024 le gana a la anchura 512", respaldada por una ejecución de cada una (semilla 0: 2.793 frente a 2.799). El curso grabó 3 semillas de cada una.

Una regla sencilla para "A le gana a B" con unas pocas semillas de cada uno: toma la diferencia de las medias, y su error estándar (cuánto se movería esa diferencia si volvieras a ejecutar las semillas), sqrt(var(A) / nA + var(B) / nB) con la varianza muestral (ddof=1). Dalo por mostrado cuando la diferencia supere 2 errores estándar. judge.standard_error(a, b) lo calcula.

Predice primero: con tres semillas, ¿la anchura 1024 sigue ganando a 512 con 8,000 tokens?

Palabras y símbolos de esta lección
semilla
el número que fija las elecciones aleatorias de una ejecución; otra semilla da otro resultado
error estándar
cuánto se movería una diferencia medida si se volvieran a ejecutar las semillas
Tu turno

Pon en my_guess "yes" (sí) o "no". Para 8,000 y 1,500,000 tokens, rellena diff[tokens] (la pérdida media de la anchura 512 menos la pérdida media de la anchura 1024: positivo significa que 1024 es mejor) y two_se[tokens]. Pon en verdict[tokens] "shown" (mostrado) o "not shown" (no mostrado).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.