学习词向量(skip-gram)
为什么重要 计数需要一张 V × V 的表,而对于一百万个单词来说这是不可能的。word2vec 改为通过梯度下降直接学习短向量,而同样的想法,通过预测上下文来学习向量,就存在于每一个语言模型之中。
带负采样的 skip-gram。每个单词有两个向量:v(作为它自己)和 u(作为别人的上下文)。对于一个真实的对(一个单词和它所在句子中的一个单词),把分数 v 点乘 u 往上推;对于 k 个随机的“负”单词,把它往下推:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
梯度,用链式法则
令 p = sigmoid(v . u_pos),q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + 对 k 求和的 q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
读一读它们:如果真实的对已经得分很高,p 就接近 1,几乎什么都不会改变。错误会产生大的推动,就和交叉熵完全一样。
成批地,借助 None
对于一个批次,p 的形状是 (B,),u_pos 的形状是 (B, d)。要让 u_pos 的每一行乘以它自己的 (p - 1),就加上一个维度:(p - 1)[:, None] * u_pos,形状 (B, 1) 乘以 (B, d)。对于负样本,q 的形状是 (B, k),v 的形状是 (B, d);q[:, :, None] * v[:, None, :] 把它们对齐成 (B, k, 1) 乘以 (B, 1, d),得到 (B, k, d):每个负样本一份缩放过的 v 的副本。(Python 模块中关于形状的那一课介绍过 None。)
本课中的词语和符号
- PPMI
- 两个单词相遇的频率比随机情况下多多少,负值被设为 0
- skip-gram、负采样
- 通过给真实的(单词,上下文)对打高分、给随机的对打低分来学习向量
为一个批次编写 sgns_grads(v, u_pos, u_neg):v 和 u_pos 的形状是 (B, d),u_neg 的形状是 (B, k, d)。返回形状相同的 (g_v, g_pos, g_neg)。训练循环会使用它;然后 72 个类比必须至少答对 90%。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。