Programme Leçon 138 sur 246 · Module 12 : Les mots comme nombres (embeddings)
Module 12 : Les mots comme nombres (embeddings)

Apprendre des vecteurs de mots (skip-gram)

Pourquoi c'est important Compter demande une table V par V, impossible pour un million de mots. Word2vec apprend plutôt directement de courts vecteurs par descente de gradient, et la même idée, apprendre des vecteurs en prédisant le contexte, se trouve dans chaque modèle de langage.

Skip-gram avec échantillonnage négatif. Chaque mot a deux vecteurs : v (en tant que lui-même) et u (en tant que contexte de quelqu'un). Pour une vraie paire (un mot et un mot de sa phrase), pousse le score v scalaire u vers le haut ; pour k mots « négatifs » au hasard, pousse-le vers le bas :

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Les gradients, par la règle de dérivation en chaîne

Avec p = sigmoid(v . u_pos) et q_k = sigmoid(v . u_neg_k) :

  • dL/dv = (p - 1) u_pos + somme sur k de q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Lis-les : si la vraie paire a déjà un score élevé, p est proche de 1 et presque rien ne change. Les erreurs produisent de grosses poussées, exactement comme l'entropie croisée.

Par lots, avec None

Pour un lot, p a la forme (B,) et u_pos a la forme (B, d). Pour mettre chaque ligne de u_pos à l'échelle de son propre (p - 1), ajoute une direction : (p - 1)[:, None] * u_pos, forme (B, 1) fois (B, d). Pour les négatifs, q a la forme (B, k) et v a la forme (B, d) ; q[:, :, None] * v[:, None, :] les aligne en (B, k, 1) fois (B, 1, d), ce qui donne (B, k, d) : une copie mise à l'échelle de v par négatif. (La leçon sur les formes du module Python a présenté None.)

Mots et symboles de cette leçon
PPMI
combien plus souvent deux mots se rencontrent que le hasard ne le donnerait, avec les négatifs mis à 0
skip-gram, échantillonnage négatif
apprendre des vecteurs en notant haut les vraies paires (mot, contexte) et bas les paires au hasard
À ton tour

Écris sgns_grads(v, u_pos, u_neg) pour un lot : v et u_pos ont la forme (B, d), u_neg a la forme (B, k, d). Renvoie (g_v, g_pos, g_neg) avec les mêmes formes. La boucle d'entraînement l'utilise ; ensuite les 72 analogies doivent être justes à au moins 90 %.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.