シラバス レッスン 246 中 139 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

ベクトルはデータを写し取る、偏りも含めて

なぜ大切か 埋め込みは文章が含むどんなパターンも学びます。誰も望まないものも含めて。本物のニュースで訓練した単語のベクトルは、ある職業を "she" の近くに、ほかを "he" の近くに置きます。それは測れますし、測るべきです。

性別だけが違う組から 性別の向き を作ります:queen 引く king、woman 引く man、princess 引く prince、girl 引く boy を足し合わせ、長さ 1 に拡大します。その上での語の位置は、その(単位)ベクトルと向きの内積です:正は "she" 寄り、負は "he" 寄り。

おもちゃの世界は 偏り を加えられます:偏り 0.4 では、nurse の文は 90% で "she" と言い、engineer の文は 90% で "he" と言います。doctor と teacher は 50:50 のままです。ほかは何も変わりません。

取り除くこと、そしてその落とし穴

それぞれの職業の向きに沿った成分を引けば、その位置はちょうど 0 になります。このおもちゃの世界ではそれはほぼ完全に効きます:取り除いたあとに測ると、nurse と engineer は "she" と "he" にほぼ同じくらい近くにあります(どちらでもコサイン 0.114 と 0.118)。それはここでは偏りがひとつの語、代名詞にあるからです。本物の文章で訓練した単語のベクトルでは、研究者は反対のことを見つけました:偏りはひとつの向きではとらえられない何千もの語に散らばっているので、取り除いたあとも職業の近所がそれを明かしてしまいます。なのでものさしのきれいな読みは偏りが消えた証拠ではなく、正直な直し方はデータから始まります。

このレッスンの言葉と記号
埋め込み
ひとつの記号を表す、学習した数の行
窓
両側の何語までを、ある語の仲間として数えるか
PPMI
2 つの語が偶然より何倍よく出会うか。負のものは 0 にする
おもちゃの世界
正しい答えがわかるよう、構造を仕込んだ作りものの文章
偏り
ベクトルが写し取る、データの中の片寄ったパターン
あなたの番

gender_direction(X) と position(X, word, g) を書いてください。どちらも単位ベクトルで働きます:まずそれぞれの語のベクトルをその長さで割り、それから 4 つの差(queen 引く king、woman 引く man、princess 引く prince、girl 引く boy)を取り、足して和を長さ 1 に拡大します。位置は語の単位ベクトルと g の内積です。文全体を窓とする数のベクトルを使って、pos を埋めてください:偏り(0.0 と 0.4)から、4 つの職業の位置の辞書へ。それから g に沿った成分を取り出す remove(x, g) を書きます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。