Buscando una cabeza de inducción
Por qué importa La cabeza de inducción (Olsson et al. 2022) es la historia más conocida de la interpretabilidad: una cabeza encuentra la copia anterior del token actual y atiende al token que le sigue, para que el modelo pueda continuar una repetición. Es real en los modelos grandes. El error es suponer que un modelo pequeño copia de la misma manera porque copia.
El curso entrenó un GPT de 2 bloques solo para copiar: cada fila es una tira aleatoria de 4 a 16 letras, repetida hasta llenar las 32 posiciones. La primera tira no se puede predecir (pérdida de unos ln 26 = 3.26); después, cada letra se puede copiar. El modelo aprendió a copiar: su pérdida en las repeticiones es de unos 0.13 a 0.15 (depende de la muestra).
La predicción de manual: alguna cabeza pone la mayor parte de su atención en la letra que sigue a una copia anterior de la letra actual. Mídelo. Para cada cabeza, la proporción de atención, de media sobre las posiciones de repetición, que cae en posiciones j donde la letra anterior a j es igual a la letra actual. Compárala con una atención uniforme, que se reparte por igual entre todas las posiciones anteriores. Luego quita cada cabeza y mide la pérdida en las repeticiones.
Predice primero: ¿alguna cabeza pondrá ahí más de la mitad de su atención?
Dónde está ahora el campo Las cabezas de inducción son reales: Olsson et al. (2022) las vieron formarse, en un cambio de fase repentino, en modelos entrenados con texto corriente, incluidos modelos de dos capas solo con atención. ¿Por qué aquí no? Este modelo tiene MLP y normalización de capa, se entrenó poco tiempo con una única tarea sintética de copia con varias soluciones posibles, y encontró otra. Esa es la lección, y también su límite: un juguete que no muestra un efecto publicado no es una prueba en su contra. Los resultados de los modelos pequeños de este curso son mediciones de esos modelos; a gran escala, unos se cumplirán y otros no.
Palabras y símbolos de esta lección
- interpretabilidad
- averiguar qué calcula por dentro una red entrenada, y comprobarlo
- patrón, efecto, mecanismo
- tres tipos de prueba: miraste y viste; lo cambiaste y la salida cambió; lo explicaste y la explicación predijo casos nuevos
- cabeza de inducción
- una cabeza que encuentra una copia anterior del token actual y atiende al token que le sigue
Pon en my_guess "yes" (sí) o "no". Escribe induction_share(A, X, Ls): para los pesos de atención A (B, t, t) de una cabeza, la media sobre las filas b y las posiciones de repetición i (de Ls[b] a t - 1) de la atención en las posiciones j ≤ i con X[b, j - 1] == X[b, i] (j ≥ 1). Rellena share[(layer, head)] para las 8 cabezas y removed[(layer, head)] con la pérdida en las repeticiones cuando esa cabeza se pone a cero. Pon en needed la cabeza cuya eliminación hace más daño.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.