L'attention est une recherche douce
Pourquoi c'est important L'attention est la seule idée nouvelle d'un transformer. Tout le reste, tu le connais déjà. C'est une recherche dans un dictionnaire qui, au lieu de choisir une entrée, les mélange toutes.
Vois-le
Lance l'animation. Un dictionnaire Python fait correspondre une clé exactement et renvoie une valeur. L'attention a une requête q, une liste de clés et une liste de valeurs. Elle note la requête face à chaque clé avec un produit scalaire, transforme les scores en poids avec softmax (positifs, qui font 1 au total), et renvoie la moyenne pondérée des valeurs.
weights = softmax(K @ q)
output = weights @ V
De tout petits nombres
q = [1, 0]. Les clés [2, 0], [0, 2], [0, 0] donnent les scores 2, 0, 0. Softmax : e^2 = 7.39 et 1 et 1, donc les poids valent 0.79, 0.11, 0.11. Avec les valeurs 10, 20, 30, la sortie vaut 0.79 fois 10 + 0.11 fois 20 + 0.11 fois 30 = 13.2 : surtout la première valeur, un peu des autres.
Requête, clé, valeur : ce que je cherche ; ce que chaque élément propose pour la correspondance ; ce que chaque élément remet s'il correspond.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
Écris attend(q, K, V) pour une requête : renvoie (weights, output).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.