Wortvektoren lernen (skip-gram)
Warum das wichtig istZählen benötigt eine V by V Tabelle, was für eine Million Wörter unmöglich ist. Word2vec lernt stattdessen kurze Vektoren direkt durch gradient descent, und dieselbe Idee, Vektoren durch Vorhersage des Kontextes zu lernen, steckt in jedem Sprachmodell.
Skip-gram mit negativem Sampling. Jedes Wort hat zwei Vektoren: v (als sich selbst) und u (als Kontext von jemandem). Für ein echtes Paar (ein Wort und ein Wort aus seinem Satz) erhöhe den Score v dot u; für k zufällige "negative" Wörter verringere ihn:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Die Gradienten, durch die Kettenregel
Mit p = sigmoid(v . u_pos) und q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Lies sie: wenn das echte Paar bereits hoch punktet, ist p nahe bei 1 und fast nichts ändert sich. Fehler erzeugen große Schübe, genau wie bei cross-entropy.
Batched, mit None
Für einen Batch hat p die Form (B,) und u_pos hat die Form (B, d). Um jede Zeile von u_pos mit ihrem eigenen (p - 1) zu skalieren, füge eine Richtung hinzu: (p - 1)[:, None] * u_pos, Form (B, 1) mal (B, d). Für die Negativen hat q die Form (B, k) und v hat die Form (B, d); q[:, :, None] * v[:, None, :] ordnet sie als (B, k, 1) mal (B, 1, d) an, was (B, k, d) ergibt: eine skalierte Kopie von v pro Negativ. (Die Lektion zu Formen im Python Modul führte None ein.)
Wörter und Symbole in dieser Lektion
- PPMI
- wie viel öfter zwei Wörter aufeinandertreffen als der Zufall es vorgeben würde, mit Negativen auf 0
- skip-gram, negative sampling
- lerne Vektoren, indem du echte (word, context) Paare hoch und zufällige Paare niedrig bewertest
Schreibe sgns_grads(v, u_pos, u_neg) für einen Batch: v und u_pos haben die Form (B, d), u_neg hat die Form (B, k, d). Gib (g_v, g_pos, g_neg) mit den gleichen Formen zurück. Die training loop verwendet es; dann müssen die 72 Analogien mindestens 90% richtig sein.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.