Un embedding è una ricerca, e una ricerca è una moltiplicazione
Perché è importante Una rete fa solo aritmetica, ma il testo è fatto di simboli. Ogni modello linguistico inizia trasformando ogni simbolo in una breve lista di numeri, il suo embedding.
Dai a ogni simbolo un numero da 0 a V meno 1 (il suo id). La tabella degli embedding E ha una riga per simbolo, d numeri ciascuna. Trasformare un id in numeri significa semplicemente leggere la sua riga: E[id].
Perché è comunque un layer
Scrivi l'id come vettore one-hot: V zeri con un solo 1 in posizione id. Allora one-hot per E prende esattamente quella riga. Quindi un embedding è un layer lineare il cui input è one-hot. Facciamo la ricerca invece perché salta V per d moltiplicazioni per zero.
Ti dice anche come si addestra: il gradiente raggiunge solo le righe che sono state usate. Un simbolo che non compare mai in un batch tiene la sua riga invariata.
Numeri piccolissimi
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. L'id 1 come one-hot è [0, 1, 0], e [0, 1, 0] per E = [3, 4], uguale a E[1].
Parole e simboli di questa lezione
- embedding
- la riga di numeri appresi che rappresenta un simbolo
- one-hot
- V zeri con un solo 1; per la tabella, sceglie una riga
Scrivi onehot(ids, V) che restituisce un array di forma (len(ids), V). Poi imposta rows_with_gradient sul numero di righe della tabella degli embedding che ricevono un gradiente diverso da zero dopo la passata all'indietro mostrata.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.