シラバス レッスン 246 中 138 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

単語のベクトルを学ぶ(スキップグラム)

なぜ大切か 数えることには V × V の表が要り、100 万語では不可能です。word2vec は代わりに勾配降下で短いベクトルを直接学び、同じ考え、文脈を予測することでベクトルを学ぶことは、どの言語モデルの中にもあります。

負例サンプリング付きスキップグラム。それぞれの語は 2 つのベクトルを持ちます:v(自分自身として)と u(誰かの文脈として)。本物の組(語と、その文からの語)では点数 v と u の内積を押し上げ、k のランダムな「負例」の語では押し下げます:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

連鎖律による勾配

p = sigmoid(v . u_pos)、q_k = sigmoid(v . u_neg_k) として:

  • dL/dv = (p - 1) u_pos + k の上の q_k u_neg_k の和
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

読んでみてください:本物の組がすでに高い点数なら、p は 1 に近く、ほとんど何も変わりません。間違いは大きな押しを生みます。交差エントロピーとちょうど同じです。

None を使ってバッチで

バッチでは、p は形 (B,)、u_pos は形 (B, d) を持ちます。u_pos のそれぞれの行を自分の (p - 1) で拡大するには、向きを加えます:(p - 1)[:, None] * u_pos、形 (B, 1) 掛ける (B, d)。負例では、q は形 (B, k)、v は形 (B, d) を持ちます。q[:, :, None] * v[:, None, :] はそれらを (B, k, 1) 掛ける (B, 1, d) として並べ、(B, k, d) を返します:負例ごとに v の拡大した写しひとつ。(Python のモジュールの形のレッスンが None を紹介しました。)

このレッスンの言葉と記号
PPMI
2 つの語が偶然より何倍よく出会うか。負のものは 0 にする
スキップグラム、負例サンプリング
本物の (語, 文脈) の組に高く、ランダムな組に低く点数をつけてベクトルを学ぶ
あなたの番

バッチについて sgns_grads(v, u_pos, u_neg) を書いてください:v と u_pos は形 (B, d)、u_neg は形 (B, k, d) を持ちます。同じ形で (g_v, g_pos, g_neg) を返します。訓練のループがそれを使います。そのあと 72 の類推の少なくとも 90% が正しくなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。