Temario Lección 142 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Por qué dividir por la raíz cuadrada de d

Por qué importa Todos los transformers dividen sus puntuaciones de atención por la raíz cuadrada del tamaño de la clave. Si lo quitas, la atención deja de mezclar y sus gradientes casi desaparecen. Vas a medir por qué.

Un producto escalar de dos vectores aleatorios de longitud d suma d productos. Cada uno tiene una dispersión de alrededor de 1, así que la suma tiene una dispersión de alrededor de la raíz cuadrada de d. La razón: cuando sumas números aleatorios independientes, sus dispersiones no se suman, se suman sus cuadrados (los cuadrados se llaman varianzas). d productos, cada uno con varianza 1, dan varianza d, así que la dispersión es la raíz cuadrada de d. Para d = 64 eso es 8.

Unas puntuaciones repartidas entre más y menos 8 o más hacen que el softmax sea casi one-hot: un peso cerca de 1 y el resto cerca de 0. Un softmax one-hot tiene gradientes diminutos: la pendiente de cada salida respecto a su propia puntuación es p(1 - p), que está cerca de 0 cuando p está cerca de 0 o de 1 (la lección del gradiente del softmax del Módulo 2 lo deriva, y la lección de este módulo sobre el paso hacia atrás por la atención lo usa), así que el modelo aprende despacio. Dividir por la raíz cuadrada de d devuelve la dispersión a alrededor de 1, sea cual sea d.

Predice: a medida que d crece de 4 a 256, ¿qué le pasa al peso más grande, con y sin la división?

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
Tu turno

Rellena my_guess. Luego escribe top_weight(d, scaled): 2,000 consultas aleatorias contra 32 claves aleatorias cada una (números normales, semilla 0), la media del peso de softmax más grande. Rellena measured.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.