Temario Lección 145 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

La máscara causal: nada de mirar

Por qué importa Un modelo entrenado para predecir el siguiente carácter no debe ver el siguiente carácter. Sin máscara puede simplemente copiar la respuesta, parecer estupendo en el entrenamiento y luego fallar al generar, porque al generar el futuro todavía no existe.

Míralo

Reproduce la animación. La posición i solo puede atender a las posiciones de 0 a i. Antes del softmax, cada puntuación por encima de la diagonal se pone a menos infinito, así que su peso pasa a ser exactamente 0. Entonces los pesos forman un triángulo inferior.

La prueba de una fuga es directa: cambia un carácter en la posición j, y nada de lo que calcula el modelo para las posiciones anteriores a j puede cambiar.

Cuando el curso entrenó un GPT de anchura 32 durante 1,200 pasos sin la máscara, su pérdida de entrenamiento bajó a 0.10, frente a 1.51 con la máscara: había aprendido a copiar la respuesta de la posición siguiente, casi a la perfección. Medida con honestidad, sobre texto no visto y sin dejarle mirar adelante, su pérdida era 8.6 frente a 2.3. El número más bajo era una mentira: el modelo era mucho peor. (Al principio, a los 400 pasos, las dos ejecuciones todavía se parecían, 2.28 frente a 2.24. Copiar tarda un poco en descubrirse, y luego se impone.)

Palabras y símbolos de esta lección
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
máscara causal
puntuaciones por encima de la diagonal puestas a menos infinito: ninguna posición ve el futuro
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Tu turno

Escribe causal_attention(X, Wq, Wk, Wv) como en la lección 4 pero con máscara. Luego leaks(f): devuelve True si cambiar la última fila de una X aleatoria cambia alguna fila anterior de la salida de f. Aquí f es cualquier función de atención que se llama como la tuya, f(X, Wq, Wk, Wv), y devuelve (output, weights); crea X y los pesos aleatorios dentro de leaks.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.