课程大纲 第 137 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

从一个单词的伴侣中得到含义

为什么重要 “观其伴而知其词。”统计哪些单词出现在哪些单词附近,仅凭这些计数就能把 king 放在 queen 附近,并让你做像 king 减去 man 加上 woman 这样的算术。

为了诚实地检验这一点,我们需要知道正确的答案,所以这一课使用一个植入了结构的虚构的小世界:每个人要么是王室要么是平民,是他或她,是成年人或小孩,而每一种都会以同一个句子中的其他单词的形式显现出来(“the queen rules in the palace and she reads”)。真实的文本要乱得多,但机制是一样的。

从计数到向量

对每一对单词,统计它们在彼此相距 w 个单词的窗口之内出现的次数。每个单词的那一行计数就是它的向量。一个辅助函数会把原始计数变成“比随机情况下多出多少”(PPMI),这样 "the" 就不会主导一切。

一个类比 a : b = c : ? 的答案,是最接近 b 减去 a 加上 c 的那个单词。在这个世界中有 72 个这样的问题。

预测:窗口为 2 个单词时,以及窗口覆盖整个 9 个单词的句子时,答对的比例各是多少?

本课中的词语和符号
窗口
左右各有多少个单词算作一个单词的伴侣
PPMI
两个单词相遇的频率比随机情况下多多少,负值被设为 0
轮到你了

把 my_guess 设为你的两个预测。编写 cooccurrence(sents, win):一个 V × V 的计数数组,对于同一个句子中每一个在 win 个位置以内的其他单词,在 [word, other] 处加 1。然后用 score(ppmi(...)) 为窗口 2 和 8 填写 acc。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。