Temario Lección 143 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

La atención arregla el cuello de botella

Por qué importa La atención se inventó en 2014 para arreglar exactamente el problema que mediste en el Módulo 11: un codificador que aprieta una frase entera en un solo vector.

En el experimento grabado seq2seq-bottleneck, el decodificador del modelo con atención, en cada paso, atiende a todos los estados ocultos del codificador (su consulta es el propio estado del decodificador). Ya no depende de un único vector final; puede mirar directamente atrás al dígito que necesita.

Predice: con longitud 16, donde el modelo simple acertaba alrededor del 59% de los dígitos, ¿cuánto acierta el modelo con atención?

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
atención
softmax de las puntuaciones consulta-clave, usado para promediar los valores
Tu turno

Pon en my_guess un número entre 0 y 1: tu suposición de la exactitud por dígito del modelo con atención con longitud 16. Rellena acc: (model, length) a la media de exactitud por dígito de las dos semillas, para los dos modelos y las cuatro longitudes, y gain_at_16.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.