シラバス レッスン 246 中 137 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

語がつきあう仲間からの意味

なぜ大切か 「語はそのつきあう仲間で知れる」。どの語がどの語の近くに現れるかを数えると、その数だけで king を queen の近くに置き、king 引く man 足す woman のような計算をさせてくれます。

これを正直に試すには正しい答えを知る必要があるので、このレッスンは構造を仕込んだ 作りものの小さな世界 を使います:どの人も王族か庶民、he か she、大人か子どもで、そのそれぞれが同じ文の中のほかの語として現れます("the queen rules in the palace and she reads")。本物の文章はずっと乱雑ですが、仕組みは同じです。

数からベクトルへ

すべての語の組について、互いに w 語の 窓 の中にどれだけよく現れるかを数えます。それぞれの語の数の行がそのベクトルです。補助関数が生の数を「偶然より何倍よく」(PPMI)に変えるので、"the" がすべてを支配しません。

類推 a : b = c : ? には、b 引く a 足す c に最も近い語で答えます。この世界にはそうした問いが 72 あります。

予測してください:2 語の窓と、9 語の文全体をおおう窓では、どれだけの割合が正しいか?

このレッスンの言葉と記号
窓
両側の何語までを、ある語の仲間として数えるか
PPMI
2 つの語が偶然より何倍よく出会うか。負のものは 0 にする
あなたの番

my_guess を 2 つの予測に設定してください。cooccurrence(sents, win) を書きます:同じ文の中で win の位置以内にあるほかのどの語についても [word, other] に 1 を足す、V × V の数の配列。それから窓 2 と 8 について score(ppmi(...)) で acc を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。