Programme Leçon 143 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

L'attention règle le goulot d'étranglement

Pourquoi c'est important L'attention a été inventée en 2014 pour régler exactement le problème que tu as mesuré au module 11 : un encodeur qui comprime toute une phrase dans un seul vecteur.

Dans l'expérience enregistrée seq2seq-bottleneck, le décodeur du modèle à attention, à chaque pas, porte son attention sur tous les états cachés de l'encodeur (sa requête est l'état propre du décodeur). Il ne dépend plus d'un seul vecteur final ; il peut regarder directement le chiffre dont il a besoin.

Prédis : pour une longueur de 16, où le modèle simple obtenait environ 59 % des chiffres justes, qu'obtient le modèle à attention ?

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
À ton tour

Affecte à my_guess un nombre entre 0 et 1 : ta supposition pour la justesse par chiffre du modèle à attention à la longueur 16. Remplis acc : de (model, length) vers la justesse moyenne par chiffre des deux graines, pour les deux modèles et les quatre longueurs, et gain_at_16.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.