L'attention règle le goulot d'étranglement
Pourquoi c'est important L'attention a été inventée en 2014 pour régler exactement le problème que tu as mesuré au module 11 : un encodeur qui comprime toute une phrase dans un seul vecteur.
Dans l'expérience enregistrée seq2seq-bottleneck, le décodeur du modèle à attention, à chaque pas, porte son attention sur tous les états cachés de l'encodeur (sa requête est l'état propre du décodeur). Il ne dépend plus d'un seul vecteur final ; il peut regarder directement le chiffre dont il a besoin.
Prédis : pour une longueur de 16, où le modèle simple obtenait environ 59 % des chiffres justes, qu'obtient le modèle à attention ?
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
Affecte à my_guess un nombre entre 0 et 1 : ta supposition pour la justesse par chiffre du modèle à attention à la longueur 16. Remplis acc : de (model, length) vers la justesse moyenne par chiffre des deux graines, pour les deux modèles et les quatre longueurs, et gain_at_16.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.