Apprendre des vecteurs de mots (skip-gram)
Pourquoi c'est important Compter demande une table V par V, impossible pour un million de mots. Word2vec apprend plutôt directement de courts vecteurs par descente de gradient, et la même idée, apprendre des vecteurs en prédisant le contexte, se trouve dans chaque modèle de langage.
Skip-gram avec échantillonnage négatif. Chaque mot a deux vecteurs : v (en tant que lui-même) et u (en tant que contexte de quelqu'un). Pour une vraie paire (un mot et un mot de sa phrase), pousse le score v scalaire u vers le haut ; pour k mots « négatifs » au hasard, pousse-le vers le bas :
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Les gradients, par la règle de dérivation en chaîne
Avec p = sigmoid(v . u_pos) et q_k = sigmoid(v . u_neg_k) :
- dL/dv = (p - 1) u_pos + somme sur k de q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Lis-les : si la vraie paire a déjà un score élevé, p est proche de 1 et presque rien ne change. Les erreurs produisent de grosses poussées, exactement comme l'entropie croisée.
Par lots, avec None
Pour un lot, p a la forme (B,) et u_pos a la forme (B, d). Pour mettre chaque ligne de u_pos à l'échelle de son propre (p - 1), ajoute une direction : (p - 1)[:, None] * u_pos, forme (B, 1) fois (B, d). Pour les négatifs, q a la forme (B, k) et v a la forme (B, d) ; q[:, :, None] * v[:, None, :] les aligne en (B, k, 1) fois (B, 1, d), ce qui donne (B, k, d) : une copie mise à l'échelle de v par négatif. (La leçon sur les formes du module Python a présenté None.)
Mots et symboles de cette leçon
- PPMI
- combien plus souvent deux mots se rencontrent que le hasard ne le donnerait, avec les négatifs mis à 0
- skip-gram, échantillonnage négatif
- apprendre des vecteurs en notant haut les vraies paires (mot, contexte) et bas les paires au hasard
Écris sgns_grads(v, u_pos, u_neg) pour un lot : v et u_pos ont la forme (B, d), u_neg a la forme (B, k, d). Renvoie (g_v, g_pos, g_neg) avec les mêmes formes. La boucle d'entraînement l'utilise ; ensuite les 72 analogies doivent être justes à au moins 90 %.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.