La atención no tiene sentido del orden
Por qué importa "Perro muerde a hombre" y "hombre muerde a perro" usan las mismas palabras. La autoatención, por sí sola, no puede distinguirlas. Ver por qué explica el ingrediente extra que añade cada transformer.
Baraja las filas de X y las filas de salida de la autoatención se barajan igual; no cambia nada más. El resultado de cada posición depende de qué vectores están presentes, no de dónde están. (Con la máscara causal esto no es del todo cierto: la posición i ve exactamente i + 1 tokens, así que un modelo puede aprender a contarlos, y los modelos causales sin vectores de posición sí aprenden el orden así. Pero es lento y poco fiable; los vectores de posición explícitos hacen fácil el orden.)
Así que los transformers añaden un vector de posición al embedding de cada token antes de la primera capa. El GPT grabado aprendió un vector por posición, 32 en total. ¿Qué les pasa a sus predicciones si los borramos?
Palabras y símbolos de esta lección
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
- autoatención
- cada posición atiende a las posiciones del mismo texto
- máscara causal
- puntuaciones por encima de la diagonal puestas a menos infinito: ninguna posición ve el futuro
- vector de posición
- se suma a cada token para que la atención pueda distinguir el orden
Escribe shuffle_check(f): True si permutar las filas de una X aleatoria permuta las filas de salida de f de la misma forma. Aquí f(X, Wq, Wk, Wv) devuelve solo la salida, como attn de abajo; crea X y los pesos aleatorios dentro de shuffle_check. Luego rellena with_pos y without_pos: la pérdida en datos reservados del modelo grabado (model.eval_loss(held, n=32)) tal cual y con model.P["pos"].data puesto a ceros (devuélvelo a su sitio después).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.