Temario Lección 222 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Buscando una cabeza de inducción

Por qué importa La cabeza de inducción (Olsson et al. 2022) es la historia más conocida de la interpretabilidad: una cabeza encuentra la copia anterior del token actual y atiende al token que le sigue, para que el modelo pueda continuar una repetición. Es real en los modelos grandes. El error es suponer que un modelo pequeño copia de la misma manera porque copia.

El curso entrenó un GPT de 2 bloques solo para copiar: cada fila es una tira aleatoria de 4 a 16 letras, repetida hasta llenar las 32 posiciones. La primera tira no se puede predecir (pérdida de unos ln 26 = 3.26); después, cada letra se puede copiar. El modelo aprendió a copiar: su pérdida en las repeticiones es de unos 0.13 a 0.15 (depende de la muestra).

La predicción de manual: alguna cabeza pone la mayor parte de su atención en la letra que sigue a una copia anterior de la letra actual. Mídelo. Para cada cabeza, la proporción de atención, de media sobre las posiciones de repetición, que cae en posiciones j donde la letra anterior a j es igual a la letra actual. Compárala con una atención uniforme, que se reparte por igual entre todas las posiciones anteriores. Luego quita cada cabeza y mide la pérdida en las repeticiones.

Predice primero: ¿alguna cabeza pondrá ahí más de la mitad de su atención?

Dónde está ahora el campo Las cabezas de inducción son reales: Olsson et al. (2022) las vieron formarse, en un cambio de fase repentino, en modelos entrenados con texto corriente, incluidos modelos de dos capas solo con atención. ¿Por qué aquí no? Este modelo tiene MLP y normalización de capa, se entrenó poco tiempo con una única tarea sintética de copia con varias soluciones posibles, y encontró otra. Esa es la lección, y también su límite: un juguete que no muestra un efecto publicado no es una prueba en su contra. Los resultados de los modelos pequeños de este curso son mediciones de esos modelos; a gran escala, unos se cumplirán y otros no.

Palabras y símbolos de esta lección
interpretabilidad
averiguar qué calcula por dentro una red entrenada, y comprobarlo
patrón, efecto, mecanismo
tres tipos de prueba: miraste y viste; lo cambiaste y la salida cambió; lo explicaste y la explicación predijo casos nuevos
cabeza de inducción
una cabeza que encuentra una copia anterior del token actual y atiende al token que le sigue
Tu turno

Pon en my_guess "yes" (sí) o "no". Escribe induction_share(A, X, Ls): para los pesos de atención A (B, t, t) de una cabeza, la media sobre las filas b y las posiciones de repetición i (de Ls[b] a t - 1) de la atención en las posiciones j ≤ i con X[b, j - 1] == X[b, i] (j ≥ 1). Rellena share[(layer, head)] para las 8 cabezas y removed[(layer, head)] con la pérdida en las repeticiones cuando esa cabeza se pone a cero. Pon en needed la cabeza cuya eliminación hace más daño.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.