Temario Lección 224 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Desmezclar: un autocodificador disperso

Por qué importa Si las características están guardadas en superposición, mirar las unidades no las encontrará. Un autocodificador disperso (Bricken et al. 2023, Cunningham et al. 2023) intenta deshacerlo: reconstruir cada vector a partir de muchas más direcciones que números tiene, pero solo unas pocas cada vez.

Toma los vectores de 64 números del GPT después del bloque 1, para 19,200 caracteres de texto de las lecciones. Un autocodificador disperso con 256 características calcula f = relu(z We + be) y reconstruye z = f Wd. La pérdida es el error de reconstrucción más l1 por el tamaño total de f, lo que empuja a la mayoría de las características a exactamente cero.

interp.train_sae(A, features=256, l1=...) entrena uno; sae.unexplained(A) es la parte de la dispersión de los vectores que se le escapa a la reconstrucción (0 es perfecto) y sae.features(A) da f.

Predice primero: con un empujón fuerte (l1 = 0.3), ¿la reconstrucción seguirá explicando la mayor parte de la dispersión (sin explicar por debajo de 0.2)?

Palabras y símbolos de esta lección
superposición
guardar más características que números hay, como direcciones que casi nunca están activas a la vez
autocodificador disperso
una capa ancha entrenada para reconstruir vectores a partir de unas pocas características activas cada vez
Tu turno

Pon en my_guess "yes" (sí) o "no". Entrena con l1 0.03 y 0.3 (600 pasos de 128 vectores cada uno). Rellena unexplained[l1] con los vectores reservados A_new, y active[l1]: el número medio de características por encima de cero por carácter reservado.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.