シラバス レッスン 246 中 134 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

埋め込みは引き当てで、引き当ては掛け算

なぜ大切か ネットワークは計算しかしませんが、文章は記号でできています。どの言語モデルも、まずそれぞれの記号を短い数のリスト、その 埋め込み に変えることから始めます。

どの記号にも 0 から V 引く 1 の数(その id)を与えます。埋め込みの表 E は記号ごとに 1 行、それぞれ d の数を持ちます。id を数に変えるのは、その行を読むだけです:E[id]。

なぜそれでも層なのか

id を ワンホット のベクトルとして書きます:位置 id にひとつだけ 1 のある V のゼロ。するとワンホット掛ける E は、ちょうどその行を取り出します。なので埋め込みは、入力がたまたまワンホットである線形の層です。代わりに引き当てをするのは、ゼロとの V × d の掛け算を飛ばせるからです。

それはどう訓練されるかも教えてくれます:勾配は使われた行にだけ届きます。バッチに一度も現れない記号は、その行を変えずに保ちます。

小さな数

V = 3、d = 2、E = [[1, 2], [3, 4], [5, 6]]。id 1 のワンホットは [0, 1, 0] で、[0, 1, 0] 掛ける E = [3, 4]、E[1] と同じです。

このレッスンの言葉と記号
埋め込み
ひとつの記号を表す、学習した数の行
ワンホット
ひとつだけ 1 のある V のゼロ。表を掛けると、ひとつの行を取り出す
あなたの番

形 (len(ids), V) の配列を返す onehot(ids, V) を書いてください。それから rows_with_gradient を、示した逆向きのたどりのあとで 0 でない勾配を得る埋め込みの表の行の数に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。