La atención arregla el cuello de botella
Por qué importa La atención se inventó en 2014 para arreglar exactamente el problema que mediste en el Módulo 11: un codificador que aprieta una frase entera en un solo vector.
En el experimento grabado seq2seq-bottleneck, el decodificador del modelo con atención, en cada paso, atiende a todos los estados ocultos del codificador (su consulta es el propio estado del decodificador). Ya no depende de un único vector final; puede mirar directamente atrás al dígito que necesita.
Predice: con longitud 16, donde el modelo simple acertaba alrededor del 59% de los dígitos, ¿cuánto acierta el modelo con atención?
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- atención
- softmax de las puntuaciones consulta-clave, usado para promediar los valores
Pon en my_guess un número entre 0 y 1: tu suposición de la exactitud por dígito del modelo con atención con longitud 16. Rellena acc: (model, length) a la media de exactitud por dígito de las dos semillas, para los dos modelos y las cuatro longitudes, y gain_at_16.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.