Temario Lección 155 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Lo que miran las cabezas

Por qué importa Los pesos de atención se pueden leer. Mirar lo que hacen las cabezas entrenadas es el principio de la interpretabilidad: entender un modelo desde dentro, no solo por sus salidas.

El modelo grabado de anchura 64 tiene 2 capas de 4 cabezas. Para cada cabeza, mide cuánta atención da de media una posición al carácter justo anterior. Si una cabeza repartiera su atención por igual entre todo lo que puede ver, ese número sería de unos 0.10 en un fragmento de 32 caracteres.

Predice: ¿las cabezas de qué capa se especializan en "mirar el carácter anterior"?

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Tu turno

Pon en my_guess 0 o 1. Escribe prev_share(A) para una matriz de atención de t por t: la media de A[i, i - 1] para i de 1 a t - 1. Rellena share: (layer, head) a la media de prev_share sobre los 40 fragmentos reservados, usando attention_maps.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.