Programme Leçon 134 sur 246 · Module 12 : Les mots comme nombres (embeddings)
Module 12 : Les mots comme nombres (embeddings)

Un embedding est une recherche, et une recherche est une multiplication

Pourquoi c'est important Un réseau ne fait que de l'arithmétique, mais le texte est fait de symboles. Chaque modèle de langage commence par transformer chaque symbole en une courte liste de nombres, son embedding.

Donne à chaque symbole un nombre de 0 à V moins 1 (son id). La table d'embeddings E a une ligne par symbole, de d nombres chacune. Transformer un id en nombres, c'est simplement lire sa ligne : E[id].

Pourquoi c'est quand même une couche

Écris l'id sous forme d'un vecteur one-hot : V zéros avec un seul 1 à la position id. Alors one-hot fois E choisit exactement cette ligne. Donc un embedding est une couche linéaire dont l'entrée se trouve être one-hot. On fait plutôt la recherche parce qu'elle saute V fois d multiplications par zéro.

Ça te dit aussi comment il s'entraîne : le gradient n'atteint que les lignes qui ont été utilisées. Un symbole qui n'apparaît jamais dans un lot garde sa ligne inchangée.

De tout petits nombres

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. L'id 1 en one-hot vaut [0, 1, 0], et [0, 1, 0] fois E = [3, 4], la même chose que E[1].

Mots et symboles de cette leçon
embedding
la ligne de nombres appris qui représente un symbole
one-hot
V zéros avec un seul 1 ; fois la table, il choisit une ligne
À ton tour

Écris onehot(ids, V) qui renvoie un tableau de forme (len(ids), V). Puis affecte à rows_with_gradient le nombre de lignes de la table d'embeddings qui reçoivent un gradient non nul après la passe arrière montrée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.