Programma Les 134 van 246 · Module 12: Woorden als getallen (embeddings)
Module 12: Woorden als getallen (embeddings)

Een embedding is een lookup, en een lookup is een vermenigvuldiging.

Waarom dit ertoe doet Een netwerk doet alleen rekenwerk, maar tekst bestaat uit symbolen. Elk taalmodel begint door elk symbool om te zetten in een korte lijst van getallen, zijn embedding.

Geef elk symbool een nummer van 0 tot V minus 1 (zijn id). De embedding table E heeft één rij per symbool, elk met d getallen. Een id omzetten naar getallen is simpelweg zijn rij lezen: E[id].

Waarom dat nog een laag is

Schrijf de id als een one-hot vector: V nullen met een enkele 1 op positie id. Daarna selecteert one-hot keer E precies die rij. Een embedding is dus een lineaire laag waarvan de input toevallig one-hot is. We doen de lookup in plaats daarvan omdat het V keer d vermenigvuldigingen met nul overslaat.

Het vertelt je ook hoe het traint: de gradient bereikt alleen de rijen die zijn gebruikt. Een symbool dat nooit in een batch voorkomt, houdt zijn rij onveranderd.

Tintalletjes

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 als one-hot is [0, 1, 0], en [0, 1, 0] keer E = [3, 4], hetzelfde als E[1].

Woorden en symbolen in deze les
embedding
de rij geleerde getallen die staat voor één symbool
one-hot
V nullen met een enkele 1; keer de tabel, het kiest één rij
Jij bent aan de beurt

Schrijf onehot(ids, V) die een array van vorm (len(ids), V) teruggeeft. Stel daarna rows_with_gradient in op het aantal rijen van de embedding table die een niet-nul gradiënt krijgen na de getoonde backward pass.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.