Kurrikulum Leson 138 van 246 · Module 12: Woorde as nommers (embeddings)
Module 12: Woorde as nommers (embeddings)

Leer woordvektore (skip-gram)

Waarom dit saak maak Telwerk het 'n V by V tabel nodig, wat onmoontlik is vir 'n miljoen woorde. Word2vec leer kort vektore direk deur gradient descent in plaas daarvan. Dieselfde idee, om vektore te leer deur konteks te voorspel, is binne elke taalmodel.

Skip-gram met negatiewe monstering. Elke woord het twee vektore: v (as homself) en u (as iemand se konteks). Vir 'n werklike paar ('n woord en 'n woord uit sy sin), skuif die telling v dot u op; vir k willekeur "negatiewe" woorde, skuif dit af:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Die gradiënte, deur die chain rule

Met p = sigmoid(v . u_pos) en q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Lees hulle: as die regte paar reeds hoog tel, is p naby 1 en verander byna niks nie. Foute veroorsaak groot stoot, presies soos cross-entropy.

Batched, met None

Vir 'n batch het p die vorm (B,) en u_pos die vorm (B, d). Om elke ry van u_pos met sy eie (p - 1) te skaal, voeg 'n rigting by: (p - 1)[:, None] * u_pos, vorm (B, 1) maal (B, d). Vir die negatiewes het q die vorm (B, k) en v die vorm (B, d); q[:, :, None] * v[:, None, :] lyn hulle op as (B, k, 1) maal (B, 1, d), wat (B, k, d) gee: een geskaalde kopie van v per negatief. (Die Python module se les oor vorme het None bekendgestel.)

Woorde en simbole in hierdie les
PPMI
hoeveel meer gereeld ontmoet twee woorde as wat kans sou gee, met negatiewes gestel op 0
skip-gram, negatiewe monstering
leer vektore deur werklike (word, context) pare hoog te skoreer en willeke pare laag
Jou beurt

Skryf sgns_grads(v, u_pos, u_neg) vir 'n batch: v en u_pos het vorm (B, d), u_neg het vorm (B, k, d). Gee (g_v, g_pos, g_neg) met dieselfde vorme terug. Die training loop gebruik dit; dan moet die 72 analogieë ten minste 90% reg wees.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.