Leer woordvektore (skip-gram)
Waarom dit saak maak Telwerk het 'n V by V tabel nodig, wat onmoontlik is vir 'n miljoen woorde. Word2vec leer kort vektore direk deur gradient descent in plaas daarvan. Dieselfde idee, om vektore te leer deur konteks te voorspel, is binne elke taalmodel.
Skip-gram met negatiewe monstering. Elke woord het twee vektore: v (as homself) en u (as iemand se konteks). Vir 'n werklike paar ('n woord en 'n woord uit sy sin), skuif die telling v dot u op; vir k willekeur "negatiewe" woorde, skuif dit af:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Die gradiënte, deur die chain rule
Met p = sigmoid(v . u_pos) en q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Lees hulle: as die regte paar reeds hoog tel, is p naby 1 en verander byna niks nie. Foute veroorsaak groot stoot, presies soos cross-entropy.
Batched, met None
Vir 'n batch het p die vorm (B,) en u_pos die vorm (B, d). Om elke ry van u_pos met sy eie (p - 1) te skaal, voeg 'n rigting by: (p - 1)[:, None] * u_pos, vorm (B, 1) maal (B, d). Vir die negatiewes het q die vorm (B, k) en v die vorm (B, d); q[:, :, None] * v[:, None, :] lyn hulle op as (B, k, 1) maal (B, 1, d), wat (B, k, d) gee: een geskaalde kopie van v per negatief. (Die Python module se les oor vorme het None bekendgestel.)
Woorde en simbole in hierdie les
- PPMI
- hoeveel meer gereeld ontmoet twee woorde as wat kans sou gee, met negatiewes gestel op 0
- skip-gram, negatiewe monstering
- leer vektore deur werklike (word, context) pare hoog te skoreer en willeke pare laag
Skryf sgns_grads(v, u_pos, u_neg) vir 'n batch: v en u_pos het vorm (B, d), u_neg het vorm (B, k, d). Gee (g_v, g_pos, g_neg) met dieselfde vorme terug. Die training loop gebruik dit; dan moet die 72 analogieë ten minste 90% reg wees.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.