Una semilla es una anécdota
Por qué importa Entrenar el mismo modelo dos veces con semillas aleatorias distintas da resultados distintos. Una diferencia entre dos modelos más pequeña que esa dispersión no es un resultado, y una sola ejecución no puede decirte lo grande que es la dispersión.
Una afirmación: "con 8,000 tokens, la anchura 1024 le gana a la anchura 512", respaldada por una ejecución de cada una (semilla 0: 2.793 frente a 2.799). El curso grabó 3 semillas de cada una.
Una regla sencilla para "A le gana a B" con unas pocas semillas de cada uno: toma la diferencia de las medias, y su error estándar (cuánto se movería esa diferencia si volvieras a ejecutar las semillas), sqrt(var(A) / nA + var(B) / nB) con la varianza muestral (ddof=1). Dalo por mostrado cuando la diferencia supere 2 errores estándar. judge.standard_error(a, b) lo calcula.
Predice primero: con tres semillas, ¿la anchura 1024 sigue ganando a 512 con 8,000 tokens?
Palabras y símbolos de esta lección
- semilla
- el número que fija las elecciones aleatorias de una ejecución; otra semilla da otro resultado
- error estándar
- cuánto se movería una diferencia medida si se volvieran a ejecutar las semillas
Pon en my_guess "yes" (sí) o "no". Para 8,000 y 1,500,000 tokens, rellena diff[tokens] (la pérdida media de la anchura 512 menos la pérdida media de la anchura 1024: positivo significa que 1024 es mejor) y two_se[tokens]. Pon en verdict[tokens] "shown" (mostrado) o "not shown" (no mostrado).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.