Programma Lezione 134 di 246 · Modulo 12: Parole come numeri (embedding)
Modulo 12: Parole come numeri (embedding)

Un embedding è una ricerca, e una ricerca è una moltiplicazione

Perché è importante Una rete fa solo aritmetica, ma il testo è fatto di simboli. Ogni modello linguistico inizia trasformando ogni simbolo in una breve lista di numeri, il suo embedding.

Dai a ogni simbolo un numero da 0 a V meno 1 (il suo id). La tabella degli embedding E ha una riga per simbolo, d numeri ciascuna. Trasformare un id in numeri significa semplicemente leggere la sua riga: E[id].

Perché è comunque un layer

Scrivi l'id come vettore one-hot: V zeri con un solo 1 in posizione id. Allora one-hot per E prende esattamente quella riga. Quindi un embedding è un layer lineare il cui input è one-hot. Facciamo la ricerca invece perché salta V per d moltiplicazioni per zero.

Ti dice anche come si addestra: il gradiente raggiunge solo le righe che sono state usate. Un simbolo che non compare mai in un batch tiene la sua riga invariata.

Numeri piccolissimi

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. L'id 1 come one-hot è [0, 1, 0], e [0, 1, 0] per E = [3, 4], uguale a E[1].

Parole e simboli di questa lezione
embedding
la riga di numeri appresi che rappresenta un simbolo
one-hot
V zeri con un solo 1; per la tabella, sceglie una riga
Tocca a te

Scrivi onehot(ids, V) che restituisce un array di forma (len(ids), V). Poi imposta rows_with_gradient sul numero di righe della tabella degli embedding che ricevono un gradiente diverso da zero dopo la passata all'indietro mostrata.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.