Temario Lección 226 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Grokking: memoriza primero, entiende después

Por qué importa Power et al. (2022) vieron una red llegar a una exactitud perfecta en entrenamiento, quedarse al nivel del azar con los datos de prueba durante mucho tiempo, y luego generalizar de repente. Es el caso más claro en el que mirar dentro explicó algo que la curva de pérdida no podía explicar.

La tarea: a + b módulo 23 (el resto después de dividir entre 23; así que 20 + 5 da 2). Hay 23 x 23 = 529 sumas; el modelo entrena con una mitad aleatoria y se prueba con la otra mitad. Cada número recibe un embedding de 32; los dos embeddings pasan por una capa ReLU de 128 y salen a 23 puntuaciones. Entrena con toda la mitad en cada paso, con AdamW (Módulo 5).

Entrénalo en directo durante 1,500 pasos, y luego lee las ejecuciones grabadas del curso de 40,000 pasos (unos 11 segundos cada una en un portátil, demasiado para una lección), con regularización de pesos 3 y sin ella.

Predice primero: después de 1,500 pasos, la exactitud en entrenamiento será del 100%. ¿Cuál será la exactitud en prueba?

Palabras y símbolos de esta lección
grokking
la exactitud en prueba sube mucho después de que la exactitud en entrenamiento sea perfecta
Tu turno

Pon en my_guess "near 0" (cerca de 0), "near 50%" (cerca del 50%) o "near 100%" (cerca del 100%). Entrena durante 1,500 pasos y rellena live con (exactitud en entrenamiento, exactitud en prueba). A partir de runs = interp.recorded()['grok'], la 'curve' de cada ejecución tiene filas (paso, exactitud en entrenamiento, exactitud en prueba, proporción de las 3 mayores): pon en half_way el primer paso en el que la exactitud en prueba llega a 0.5 con regularización de pesos 3, y en final_test la última exactitud en prueba de cada ejecución.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.