课程大纲 第 138 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

学习词向量(skip-gram)

为什么重要 计数需要一张 V × V 的表,而对于一百万个单词来说这是不可能的。word2vec 改为通过梯度下降直接学习短向量,而同样的想法,通过预测上下文来学习向量,就存在于每一个语言模型之中。

带负采样的 skip-gram。每个单词有两个向量:v(作为它自己)和 u(作为别人的上下文)。对于一个真实的对(一个单词和它所在句子中的一个单词),把分数 v 点乘 u 往上推;对于 k 个随机的“负”单词,把它往下推:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

梯度,用链式法则

令 p = sigmoid(v . u_pos),q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + 对 k 求和的 q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

读一读它们:如果真实的对已经得分很高,p 就接近 1,几乎什么都不会改变。错误会产生大的推动,就和交叉熵完全一样。

成批地,借助 None

对于一个批次,p 的形状是 (B,),u_pos 的形状是 (B, d)。要让 u_pos 的每一行乘以它自己的 (p - 1),就加上一个维度:(p - 1)[:, None] * u_pos,形状 (B, 1) 乘以 (B, d)。对于负样本,q 的形状是 (B, k),v 的形状是 (B, d);q[:, :, None] * v[:, None, :] 把它们对齐成 (B, k, 1) 乘以 (B, 1, d),得到 (B, k, d):每个负样本一份缩放过的 v 的副本。(Python 模块中关于形状的那一课介绍过 None。)

本课中的词语和符号
PPMI
两个单词相遇的频率比随机情况下多多少,负值被设为 0
skip-gram、负采样
通过给真实的(单词,上下文)对打高分、给随机的对打低分来学习向量
轮到你了

为一个批次编写 sgns_grads(v, u_pos, u_neg):v 和 u_pos 的形状是 (B, d),u_neg 的形状是 (B, k, d)。返回形状相同的 (g_v, g_pos, g_neg)。训练循环会使用它;然后 72 个类比必须至少答对 90%。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。