Programme Leçon 108 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

À voir : les poids d'attention

Tu viens de coder l'attention par produit scalaire mis à l'échelle. Voici ce que font vraiment ces matrices. L'attention permet à chaque mot de regarder tous les mots de la phrase (lui compris), de noter à quel point chacun compte, et de se reconstruire comme un mélange pondéré d'entre eux.

Appuie sur lecture. Regarde le mot sat porter son attention sur the cat sat : les scores bruts deviennent des poids softmax qui font 1, le trait le plus épais pointe vers le mot qui compte le plus, et sat absorbe son contexte, surtout depuis cat.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.