Por qué dividir por la raíz cuadrada de d
Por qué importa Todos los transformers dividen sus puntuaciones de atención por la raíz cuadrada del tamaño de la clave. Si lo quitas, la atención deja de mezclar y sus gradientes casi desaparecen. Vas a medir por qué.
Un producto escalar de dos vectores aleatorios de longitud d suma d productos. Cada uno tiene una dispersión de alrededor de 1, así que la suma tiene una dispersión de alrededor de la raíz cuadrada de d. La razón: cuando sumas números aleatorios independientes, sus dispersiones no se suman, se suman sus cuadrados (los cuadrados se llaman varianzas). d productos, cada uno con varianza 1, dan varianza d, así que la dispersión es la raíz cuadrada de d. Para d = 64 eso es 8.
Unas puntuaciones repartidas entre más y menos 8 o más hacen que el softmax sea casi one-hot: un peso cerca de 1 y el resto cerca de 0. Un softmax one-hot tiene gradientes diminutos: la pendiente de cada salida respecto a su propia puntuación es p(1 - p), que está cerca de 0 cuando p está cerca de 0 o de 1 (la lección del gradiente del softmax del Módulo 2 lo deriva, y la lección de este módulo sobre el paso hacia atrás por la atención lo usa), así que el modelo aprende despacio. Dividir por la raíz cuadrada de d devuelve la dispersión a alrededor de 1, sea cual sea d.
Predice: a medida que d crece de 4 a 256, ¿qué le pasa al peso más grande, con y sin la división?
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
Rellena my_guess. Luego escribe top_weight(d, scaled): 2,000 consultas aleatorias contra 32 claves aleatorias cada una (números normales, semilla 0), la media del peso de softmax más grande. Rellena measured.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.