Programma Lezione 138 di 246 · Modulo 12: Parole come numeri (embedding)
Modulo 12: Parole come numeri (embedding)

Imparare vettori di parole (skip-gram)

Perché è importante Contare richiede una tabella V per V, il che è impossibile per un milione di parole. Word2vec impara invece vettori corti direttamente con la discesa del gradiente, e la stessa idea, imparare vettori prevedendo il contesto, sta dentro ogni modello linguistico.

Skip-gram con negative sampling. Ogni parola ha due vettori: v (come se stessa) e u (come contesto di qualcun altro). Per una coppia vera (una parola e una parola della sua frase), spingi in su il punteggio v per u; per k parole "negative" casuali, spingilo in giù:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

I gradienti, con la regola della catena

Con p = sigmoid(v . u_pos) e q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + somma su k di q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Leggili: se la coppia vera ha già un punteggio alto, p è vicino a 1 e non cambia quasi niente. Gli errori producono spinte grandi, esattamente come la cross-entropy.

A batch, con None

Per un batch, p ha forma (B,) e u_pos ha forma (B, d). Per scalare ogni riga di u_pos per il suo (p - 1), aggiungi una direzione: (p - 1)[:, None] * u_pos, forma (B, 1) per (B, d). Per i negativi, q ha forma (B, k) e v ha forma (B, d); q[:, :, None] * v[:, None, :] li allinea come (B, k, 1) per (B, 1, d), dando (B, k, d): una copia scalata di v per negativo. (La lezione sulle forme del modulo di Python ha introdotto None.)

Parole e simboli di questa lezione
PPMI
quanto più spesso due parole si incontrano rispetto al caso, con i negativi messi a 0
skip-gram, negative sampling
imparare vettori dando un punteggio alto alle coppie vere (parola, contesto) e basso a quelle casuali
Tocca a te

Scrivi sgns_grads(v, u_pos, u_neg) per un batch: v e u_pos hanno forma (B, d), u_neg ha forma (B, k, d). Restituisci (g_v, g_pos, g_neg) con le stesse forme. Il ciclo di addestramento la usa; poi le 72 analogie devono essere giuste almeno al 90%.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.