Grokking: memoriza primero, entiende después
Por qué importa Power et al. (2022) vieron una red llegar a una exactitud perfecta en entrenamiento, quedarse al nivel del azar con los datos de prueba durante mucho tiempo, y luego generalizar de repente. Es el caso más claro en el que mirar dentro explicó algo que la curva de pérdida no podía explicar.
La tarea: a + b módulo 23 (el resto después de dividir entre 23; así que 20 + 5 da 2). Hay 23 x 23 = 529 sumas; el modelo entrena con una mitad aleatoria y se prueba con la otra mitad. Cada número recibe un embedding de 32; los dos embeddings pasan por una capa ReLU de 128 y salen a 23 puntuaciones. Entrena con toda la mitad en cada paso, con AdamW (Módulo 5).
Entrénalo en directo durante 1,500 pasos, y luego lee las ejecuciones grabadas del curso de 40,000 pasos (unos 11 segundos cada una en un portátil, demasiado para una lección), con regularización de pesos 3 y sin ella.
Predice primero: después de 1,500 pasos, la exactitud en entrenamiento será del 100%. ¿Cuál será la exactitud en prueba?
Palabras y símbolos de esta lección
- grokking
- la exactitud en prueba sube mucho después de que la exactitud en entrenamiento sea perfecta
Pon en my_guess "near 0" (cerca de 0), "near 50%" (cerca del 50%) o "near 100%" (cerca del 100%). Entrena durante 1,500 pasos y rellena live con (exactitud en entrenamiento, exactitud en prueba). A partir de runs = interp.recorded()['grok'], la 'curve' de cada ejecución tiene filas (paso, exactitud en entrenamiento, exactitud en prueba, proporción de las 3 mayores): pon en half_way el primer paso en el que la exactitud en prueba llega a 0.5 con regularización de pesos 3, y en final_test la última exactitud en prueba de cada ejecución.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.