Temario Lección 149 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Las posiciones como ondas

Por qué importa Los vectores de posición aprendidos se acaban en el texto más largo visto en el entrenamiento. El transformer original usaba en su lugar ondas fijas, que dan a cada posición un patrón único y hacen que "a 3 pasos" se vea igual dondequiera que ocurra.

Para la posición p y el índice de pareja i (0, 1, 2, ...), con d números en total:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

La primera pareja es una onda rápida, y las siguientes son cada vez más lentas, como las agujas de un reloj: segundos, minutos, horas. Juntas dan a cada posición una lectura distinta.

La propiedad útil: el producto escalar PE[p] . PE[p + k] solo depende de k, la distancia, no de p. (Cada pareja aporta el coseno de la diferencia de ángulos, por la identidad sin a sin b + cos a cos b = cos(a - b).)

Dónde está hoy el campo La mayoría de los modelos de lenguaje abiertos de hoy no usan ni ondas sumadas a la entrada ni vectores de posición aprendidos. RoPE (embedding de posición rotatorio, Su et al. 2021) gira cada vector de consulta y de clave un ángulo que crece con su posición, después de las proyecciones de consulta y clave, para que la puntuación entre dos posiciones solo dependa de lo lejos que están. ALiBi (Press et al. 2021) no añade ningún vector de posición: resta a cada puntuación de atención una penalización que crece con la distancia. Las dos se trasladan mejor a textos más largos que los del entrenamiento. Las ondas de aquí son la elección del transformer original y las más fáciles de ver.

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
vector de posición
se suma a cada token para que la atención pueda distinguir el orden
Tu turno

Escribe positions(n, d) que devuelva un array de n por d. Luego pon en same_distance la mayor diferencia entre PE[p] . PE[p + 5] para p de 0 a 50 (debería ser prácticamente 0).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.