Lehrplan Lektion 138 von 246 · Modul 12: Wörter als Zahlen (Embeddings)
Modul 12: Wörter als Zahlen (Embeddings)

Wortvektoren lernen (skip-gram)

Warum das wichtig istZählen benötigt eine V by V Tabelle, was für eine Million Wörter unmöglich ist. Word2vec lernt stattdessen kurze Vektoren direkt durch gradient descent, und dieselbe Idee, Vektoren durch Vorhersage des Kontextes zu lernen, steckt in jedem Sprachmodell.

Skip-gram mit negativem Sampling. Jedes Wort hat zwei Vektoren: v (als sich selbst) und u (als Kontext von jemandem). Für ein echtes Paar (ein Wort und ein Wort aus seinem Satz) erhöhe den Score v dot u; für k zufällige "negative" Wörter verringere ihn:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Die Gradienten, durch die Kettenregel

Mit p = sigmoid(v . u_pos) und q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Lies sie: wenn das echte Paar bereits hoch punktet, ist p nahe bei 1 und fast nichts ändert sich. Fehler erzeugen große Schübe, genau wie bei cross-entropy.

Batched, mit None

Für einen Batch hat p die Form (B,) und u_pos hat die Form (B, d). Um jede Zeile von u_pos mit ihrem eigenen (p - 1) zu skalieren, füge eine Richtung hinzu: (p - 1)[:, None] * u_pos, Form (B, 1) mal (B, d). Für die Negativen hat q die Form (B, k) und v hat die Form (B, d); q[:, :, None] * v[:, None, :] ordnet sie als (B, k, 1) mal (B, 1, d) an, was (B, k, d) ergibt: eine skalierte Kopie von v pro Negativ. (Die Lektion zu Formen im Python Modul führte None ein.)

Wörter und Symbole in dieser Lektion
PPMI
wie viel öfter zwei Wörter aufeinandertreffen als der Zufall es vorgeben würde, mit Negativen auf 0
skip-gram, negative sampling
lerne Vektoren, indem du echte (word, context) Paare hoch und zufällige Paare niedrig bewertest
Du bist dran

Schreibe sgns_grads(v, u_pos, u_neg) für einen Batch: v und u_pos haben die Form (B, d), u_neg hat die Form (B, k, d). Gib (g_v, g_pos, g_neg) mit den gleichen Formen zurück. Die training loop verwendet es; dann müssen die 72 Analogien mindestens 90% richtig sein.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.