Ein Embedding ist ein Lookup, und ein Lookup ist ein Multiply.
Warum das wichtig ist Ein Netzwerk macht nur Arithmetik, aber Text besteht aus Symbolen. Jedes Sprachmodell beginnt damit, jedes Symbol in eine kurze Liste von Zahlen umzuwandeln, sein embedding.
Gib jedem Symbol eine Nummer von 0 bis V minus 1 (seine id). Die Embedding-Tabelle E hat eine Zeile pro Symbol, d Zahlen pro Zeile. Eine id in Zahlen umzuwandeln bedeutet einfach, ihre Zeile zu lesen: E[id].
Warum das immer noch eine Ebene ist
Schreibe die id als einen one-hot Vektor: V Nullen mit einer einzelnen 1 an Position id. Dann pickt one-hot times E genau diese Zeile heraus. Ein Embedding ist also eine lineare Schicht, deren Input zufällig one-hot ist. Wir machen den Lookup stattdessen, weil er V mal d Multiplikationen mit Null überspringt.
Es es zeigt dir auch, wie es trainiert: der gradient erreicht nur die Zeilen, die verwendet wurden. Ein Symbol, das nie in einem batch erscheint, behält seine Zeile unverändert.
Kleine Zahlen
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 als one-hot ist [0, 1, 0], und [0, 1, 0] mal E = [3, 4], genau wie E[1].
Wörter und Symbole in dieser Lektion
- embedding
- die Reihe der gelernten Zahlen, die für ein Symbol steht
- one-hot
- V Nullen mit einer einzelnen 1; mal die Tabelle, es wählt eine Zeile
Schreibe onehot(ids, V) und gib ein Array der Form (len(ids), V) zurück. Setze dann rows_with_gradient auf die Anzahl der Zeilen der embedding table, die nach dem gezeigten backward pass einen Gradienten ungleich Null erhalten.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.