Programma Lezione 137 di 246 · Modulo 12: Parole come numeri (embedding)
Modulo 12: Parole come numeri (embedding)

Il significato dalla compagnia di una parola

Perché è importante "Conoscerai una parola dalla compagnia che frequenta." Conta quali parole compaiono vicino a quali, e i soli conteggi mettono king vicino a queen e ti permettono di fare aritmetica come king meno man più woman.

Per metterlo alla prova con onestà dobbiamo conoscere le risposte giuste, quindi questa lezione usa un piccolo mondo inventato con una struttura piantata: ogni persona è reale o comune, lui o lei, adulta o giovane, e ognuna di queste cose si vede in altre parole della stessa frase ("the queen rules in the palace and she reads"). Il testo vero è molto più disordinato, ma il meccanismo è lo stesso.

Dai conteggi ai vettori

Conta, per ogni coppia di parole, quanto spesso compaiono entro una finestra di w parole l'una dall'altra. La riga di conteggi di ogni parola è il suo vettore. Una funzione di supporto trasforma i conteggi grezzi in "quanto più spesso del caso" (PPMI), così "the" non domina tutto.

Un'analogia a : b = c : ? ha come risposta la parola più vicina a b meno a più c. In questo mondo ci sono 72 domande così.

Prevedi: con una finestra di 2 parole, e con una finestra che copre tutta la frase di 9 parole, quale quota sarà giusta?

Parole e simboli di questa lezione
finestra
quante parole da ogni lato contano come compagnia di una parola
PPMI
quanto più spesso due parole si incontrano rispetto al caso, con i negativi messi a 0
Tocca a te

Imposta my_guess sulle tue due previsioni. Scrivi cooccurrence(sents, win): un array V per V di conteggi, che aggiunge 1 a [word, other] per ogni altra parola entro win posizioni nella stessa frase. Poi riempi acc per le finestre 2 e 8 con score(ppmi(...)).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.