La máscara causal: nada de mirar
Por qué importa Un modelo entrenado para predecir el siguiente carácter no debe ver el siguiente carácter. Sin máscara puede simplemente copiar la respuesta, parecer estupendo en el entrenamiento y luego fallar al generar, porque al generar el futuro todavía no existe.
Míralo
Reproduce la animación. La posición i solo puede atender a las posiciones de 0 a i. Antes del softmax, cada puntuación por encima de la diagonal se pone a menos infinito, así que su peso pasa a ser exactamente 0. Entonces los pesos forman un triángulo inferior.
La prueba de una fuga es directa: cambia un carácter en la posición j, y nada de lo que calcula el modelo para las posiciones anteriores a j puede cambiar.
Cuando el curso entrenó un GPT de anchura 32 durante 1,200 pasos sin la máscara, su pérdida de entrenamiento bajó a 0.10, frente a 1.51 con la máscara: había aprendido a copiar la respuesta de la posición siguiente, casi a la perfección. Medida con honestidad, sobre texto no visto y sin dejarle mirar adelante, su pérdida era 8.6 frente a 2.3. El número más bajo era una mentira: el modelo era mucho peor. (Al principio, a los 400 pasos, las dos ejecuciones todavía se parecían, 2.28 frente a 2.24. Copiar tarda un poco en descubrirse, y luego se impone.)
Palabras y símbolos de esta lección
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- máscara causal
- puntuaciones por encima de la diagonal puestas a menos infinito: ninguna posición ve el futuro
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Escribe causal_attention(X, Wq, Wk, Wv) como en la lección 4 pero con máscara. Luego leaks(f): devuelve True si cambiar la última fila de una X aleatoria cambia alguna fila anterior de la salida de f. Aquí f es cualquier función de atención que se llama como la tuya, f(X, Wq, Wk, Wv), y devuelve (output, weights); crea X y los pesos aleatorios dentro de leaks.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.