Míralo: los pesos de la atención
Acabas de implementar la atención de producto escalar escalado. Aquí ves lo que hacen de verdad esas matrices. La atención permite que cada palabra mire todas las palabras de la frase (incluida ella misma), puntúe cuánto importa cada una y se reconstruya como una mezcla ponderada de ellas.
Pulsa reproducir. Mira cómo la palabra sat atiende a lo largo de the cat sat: las puntuaciones en bruto se convierten en pesos de softmax que suman 1, la línea más gruesa apunta a la palabra que más importa, y sat absorbe su contexto, sobre todo de cat.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.