'n Embedding is 'n lookup, en 'n lookup is 'n multiply
Waarom dit saak maak 'n netwerk doen net rekenmetkunde, maar teks bestaan uit simbole. Elke taalmodel begin deur elke simbool in 'n kort lys getalle te verander, sy embedding.
Gee elke simbool 'n nommer van 0 tot V minus 1 (sy id). Die embedding tabel E het een ry per simbool, met d nommers elk. Om 'n id na nommers te verander is bloot om sy ry te lees: E[id].
Waarom dit steeds 'n laag is
Skryf die id as 'n one-hot vektor: V nulle met 'n enkele 1 by posisie id. Dan kies een-hot maal E presies daardie ry uit. 'n Embedding is dus 'n lineêre laag waarvan die input toevallig een-hot is. Ons doen die lookup eerder omdat dit V keer vermenigvuldigings met nul by d omseil.
Dit vertel jou ook hoe dit oplei: die gradient bereik net die rye wat gebruik is. 'n Simbool wat nooit in 'n batch verskyn nie, hou sy ry onveranderd.
Klein getalle
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 as one-hot is [0, 1, 0], en [0, 1, 0] maal E = [3, 4], dieselfde as E[1].
Woorde en simbole in hierdie les
- embedding
- die ry van geleerde nommers wat vir een simbool staan
- one-hot
- nulle met 'n enkele 1; keer die tabel, kies dit een ry
Skryf onehot(ids, V) wat 'n array van vorm (len(ids), V) teruggee. Stel dan rows_with_gradient in op die aantal rye van die embedding tabel wat 'n nie-nul gradiënt kry na die backward pass wat getoon word.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.