Kurrikulum Leson 134 van 246 · Module 12: Woorde as nommers (embeddings)
Module 12: Woorde as nommers (embeddings)

'n Embedding is 'n lookup, en 'n lookup is 'n multiply

Waarom dit saak maak 'n netwerk doen net rekenmetkunde, maar teks bestaan uit simbole. Elke taalmodel begin deur elke simbool in 'n kort lys getalle te verander, sy embedding.

Gee elke simbool 'n nommer van 0 tot V minus 1 (sy id). Die embedding tabel E het een ry per simbool, met d nommers elk. Om 'n id na nommers te verander is bloot om sy ry te lees: E[id].

Waarom dit steeds 'n laag is

Skryf die id as 'n one-hot vektor: V nulle met 'n enkele 1 by posisie id. Dan kies een-hot maal E presies daardie ry uit. 'n Embedding is dus 'n lineêre laag waarvan die input toevallig een-hot is. Ons doen die lookup eerder omdat dit V keer vermenigvuldigings met nul by d omseil.

Dit vertel jou ook hoe dit oplei: die gradient bereik net die rye wat gebruik is. 'n Simbool wat nooit in 'n batch verskyn nie, hou sy ry onveranderd.

Klein getalle

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 as one-hot is [0, 1, 0], en [0, 1, 0] maal E = [3, 4], dieselfde as E[1].

Woorde en simbole in hierdie les
embedding
die ry van geleerde nommers wat vir een simbool staan
one-hot
nulle met 'n enkele 1; keer die tabel, kies dit een ry
Jou beurt

Skryf onehot(ids, V) wat 'n array van vorm (len(ids), V) teruggee. Stel dan rows_with_gradient in op die aantal rye van die embedding tabel wat 'n nie-nul gradiënt kry na die backward pass wat getoon word.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.