Programma Les 138 van 246 · Module 12: Woorden als getallen (embeddings)
Module 12: Woorden als getallen (embeddings)

Woordvectoren leren (skip-gram)

Waarom dit ertoe doet Tellen heeft een V door V tabel nodig, wat onmogelijk is voor een miljoen woorden. Word2vec leert korte vectoren direct via gradient descent in plaats daarvan, en dezelfde gedachte, vectoren leren door context te voorspellen, zit in elk taalmodel.

Skip-gram met negative sampling. Elk woord heeft twee vectoren: v (als zichzelf) en u (als iemands context). Voor een echt paar (een woord en een woord uit zijn zin), duw de score v dot u omhoog; voor k willekeurige "negatieve" woorden, duw het omlaag:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

De gradiënten, door de kettingregel

Met p = sigmoid(v . u_pos) en q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Lees ze: als het echte paar al hoog scoort, is p dicht bij 1 en verandert er bijna niets. Fouten zorgen voor grote duwtjes, precies zoals bij cross-entropy.

Batched, met None

Voor een batch heeft p de vorm (B,) en u_pos heeft de vorm (B, d). Om elke rij van u_pos te schalen met zijn eigen (p - 1), voeg je een richting toe: (p - 1)[:, None] * u_pos, vorm (B, 1) keer (B, d). Voor de negatieven heeft q de vorm (B, k) en heeft v de vorm (B, d); q[:, :, None] * v[:, None, :] zet ze op een rij als (B, k, 1) keer (B, 1, d), wat (B, k, d) geeft: één geschaalde kopie van v per negatief. (De les over vormen van de Python module introduceerde None.)

Woorden en symbolen in deze les
PPMI
hoeveel vaker twee woorden elkaar tegenkomen dan kans zou geven, met negatieven ingesteld op 0
skip-gram, negative sampling
leer vectoren door echte (woord, context) paren hoog te scoren en willekeurige paren laag
Jij bent aan de beurt

Schrijf sgns_grads(v, u_pos, u_neg) voor een batch: v en u_pos hebben vorm (B, d), u_neg heeft vorm (B, k, d). Geef (g_v, g_pos, g_neg) met dezelfde vormen terug. De training loop gebruikt het; dan moeten de 72 analogieën ten minste 90% juist zijn.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.