Temario Lección 227 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Qué cambió por dentro: ondas

Por qué importa Nanda et al. (2023) mostraron que las redes que hacen grokking con la suma modular acaban calculándola con ondas: cada número se convierte en un punto sobre unas pocas circunferencias, y sumar números pasa a ser sumar ángulos. Es uno de los pocos casos en los que se encontró un mecanismo completo y luego se comprobó.

Lee cada columna del embedding como una lista de 23 valores, uno por número del 0 al 22, y divídela en ondas de frecuencia 1 a 11 (una onda de frecuencia k da k vueltas de 0 a 22; esta división es la transformada de Fourier). interp.frequency_shares(emb) da la proporción del embedding de cada frecuencia (suman 1). Si el modelo usa unas pocas ondas, unas pocas frecuencias concentran la mayor parte; repartido por igual, las 3 mayores tendrían 3/11 = 0.27.

Un patrón solo no basta: reconstruye el embedding a partir de solo algunas frecuencias con interp.keep_frequencies(emb, keep) y mide la exactitud en prueba. Si las 3 mayores son el mecanismo, quedarse solo con ellas debería conservar la mayor parte de la exactitud, y quitar solo esas debería destruirla.

Palabras y símbolos de esta lección
patrón, efecto, mecanismo
tres tipos de prueba: miraste y viste; lo cambiaste y la salida cambió; lo explicaste y la explicación predijo casos nuevos
transformada de Fourier
dividir una lista de valores en ondas de distintas frecuencias
Tu turno

Carga g = interp.grok_model() (la ejecución grabada con regularización de pesos 3, después de 40,000 pasos). Pon en top3 sus tres mayores frecuencias, en top3_share su proporción total, y en test_acc la exactitud de tres embeddings: 'all', 'only top 3' y 'all but top 3'.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.