Desmezclar: un autocodificador disperso
Por qué importa Si las características están guardadas en superposición, mirar las unidades no las encontrará. Un autocodificador disperso (Bricken et al. 2023, Cunningham et al. 2023) intenta deshacerlo: reconstruir cada vector a partir de muchas más direcciones que números tiene, pero solo unas pocas cada vez.
Toma los vectores de 64 números del GPT después del bloque 1, para 19,200 caracteres de texto de las lecciones. Un autocodificador disperso con 256 características calcula f = relu(z We + be) y reconstruye z = f Wd. La pérdida es el error de reconstrucción más l1 por el tamaño total de f, lo que empuja a la mayoría de las características a exactamente cero.
interp.train_sae(A, features=256, l1=...) entrena uno; sae.unexplained(A) es la parte de la dispersión de los vectores que se le escapa a la reconstrucción (0 es perfecto) y sae.features(A) da f.
Predice primero: con un empujón fuerte (l1 = 0.3), ¿la reconstrucción seguirá explicando la mayor parte de la dispersión (sin explicar por debajo de 0.2)?
Palabras y símbolos de esta lección
- superposición
- guardar más características que números hay, como direcciones que casi nunca están activas a la vez
- autocodificador disperso
- una capa ancha entrenada para reconstruir vectores a partir de unas pocas características activas cada vez
Pon en my_guess "yes" (sí) o "no". Entrena con l1 0.03 y 0.3 (600 pasos de 128 vectores cada uno). Rellena unexplained[l1] con los vectores reservados A_new, y active[l1]: el número medio de características por encima de cero por carácter reservado.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.