単語のベクトルを学ぶ(スキップグラム)
なぜ大切か 数えることには V × V の表が要り、100 万語では不可能です。word2vec は代わりに勾配降下で短いベクトルを直接学び、同じ考え、文脈を予測することでベクトルを学ぶことは、どの言語モデルの中にもあります。
負例サンプリング付きスキップグラム。それぞれの語は 2 つのベクトルを持ちます:v(自分自身として)と u(誰かの文脈として)。本物の組(語と、その文からの語)では点数 v と u の内積を押し上げ、k のランダムな「負例」の語では押し下げます:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
連鎖律による勾配
p = sigmoid(v . u_pos)、q_k = sigmoid(v . u_neg_k) として:
- dL/dv = (p - 1) u_pos + k の上の q_k u_neg_k の和
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
読んでみてください:本物の組がすでに高い点数なら、p は 1 に近く、ほとんど何も変わりません。間違いは大きな押しを生みます。交差エントロピーとちょうど同じです。
None を使ってバッチで
バッチでは、p は形 (B,)、u_pos は形 (B, d) を持ちます。u_pos のそれぞれの行を自分の (p - 1) で拡大するには、向きを加えます:(p - 1)[:, None] * u_pos、形 (B, 1) 掛ける (B, d)。負例では、q は形 (B, k)、v は形 (B, d) を持ちます。q[:, :, None] * v[:, None, :] はそれらを (B, k, 1) 掛ける (B, 1, d) として並べ、(B, k, d) を返します:負例ごとに v の拡大した写しひとつ。(Python のモジュールの形のレッスンが None を紹介しました。)
このレッスンの言葉と記号
- PPMI
- 2 つの語が偶然より何倍よく出会うか。負のものは 0 にする
- スキップグラム、負例サンプリング
- 本物の (語, 文脈) の組に高く、ランダムな組に低く点数をつけてベクトルを学ぶ
バッチについて sgns_grads(v, u_pos, u_neg) を書いてください:v と u_pos は形 (B, d)、u_neg は形 (B, k, d) を持ちます。同じ形で (g_v, g_pos, g_neg) を返します。訓練のループがそれを使います。そのあと 72 の類推の少なくとも 90% が正しくなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。