Qué cambió por dentro: ondas
Por qué importa Nanda et al. (2023) mostraron que las redes que hacen grokking con la suma modular acaban calculándola con ondas: cada número se convierte en un punto sobre unas pocas circunferencias, y sumar números pasa a ser sumar ángulos. Es uno de los pocos casos en los que se encontró un mecanismo completo y luego se comprobó.
Lee cada columna del embedding como una lista de 23 valores, uno por número del 0 al 22, y divídela en ondas de frecuencia 1 a 11 (una onda de frecuencia k da k vueltas de 0 a 22; esta división es la transformada de Fourier). interp.frequency_shares(emb) da la proporción del embedding de cada frecuencia (suman 1). Si el modelo usa unas pocas ondas, unas pocas frecuencias concentran la mayor parte; repartido por igual, las 3 mayores tendrían 3/11 = 0.27.
Un patrón solo no basta: reconstruye el embedding a partir de solo algunas frecuencias con interp.keep_frequencies(emb, keep) y mide la exactitud en prueba. Si las 3 mayores son el mecanismo, quedarse solo con ellas debería conservar la mayor parte de la exactitud, y quitar solo esas debería destruirla.
Palabras y símbolos de esta lección
- patrón, efecto, mecanismo
- tres tipos de prueba: miraste y viste; lo cambiaste y la salida cambió; lo explicaste y la explicación predijo casos nuevos
- transformada de Fourier
- dividir una lista de valores en ondas de distintas frecuencias
Carga g = interp.grok_model() (la ejecución grabada con regularización de pesos 3, después de 40,000 pasos). Pon en top3 sus tres mayores frecuencias, en top3_share su proporción total, y en test_acc la exactitud de tres embeddings: 'all', 'only top 3' y 'all but top 3'.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.