埋め込みは引き当てで、引き当ては掛け算
なぜ大切か ネットワークは計算しかしませんが、文章は記号でできています。どの言語モデルも、まずそれぞれの記号を短い数のリスト、その 埋め込み に変えることから始めます。
どの記号にも 0 から V 引く 1 の数(その id)を与えます。埋め込みの表 E は記号ごとに 1 行、それぞれ d の数を持ちます。id を数に変えるのは、その行を読むだけです:E[id]。
なぜそれでも層なのか
id を ワンホット のベクトルとして書きます:位置 id にひとつだけ 1 のある V のゼロ。するとワンホット掛ける E は、ちょうどその行を取り出します。なので埋め込みは、入力がたまたまワンホットである線形の層です。代わりに引き当てをするのは、ゼロとの V × d の掛け算を飛ばせるからです。
それはどう訓練されるかも教えてくれます:勾配は使われた行にだけ届きます。バッチに一度も現れない記号は、その行を変えずに保ちます。
小さな数
V = 3、d = 2、E = [[1, 2], [3, 4], [5, 6]]。id 1 のワンホットは [0, 1, 0] で、[0, 1, 0] 掛ける E = [3, 4]、E[1] と同じです。
このレッスンの言葉と記号
- 埋め込み
- ひとつの記号を表す、学習した数の行
- ワンホット
- ひとつだけ 1 のある V のゼロ。表を掛けると、ひとつの行を取り出す
形 (len(ids), V) の配列を返す onehot(ids, V) を書いてください。それから rows_with_gradient を、示した逆向きのたどりのあとで 0 でない勾配を得る埋め込みの表の行の数に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。