从一个单词的伴侣中得到含义
为什么重要 “观其伴而知其词。”统计哪些单词出现在哪些单词附近,仅凭这些计数就能把 king 放在 queen 附近,并让你做像 king 减去 man 加上 woman 这样的算术。
为了诚实地检验这一点,我们需要知道正确的答案,所以这一课使用一个植入了结构的虚构的小世界:每个人要么是王室要么是平民,是他或她,是成年人或小孩,而每一种都会以同一个句子中的其他单词的形式显现出来(“the queen rules in the palace and she reads”)。真实的文本要乱得多,但机制是一样的。
从计数到向量
对每一对单词,统计它们在彼此相距 w 个单词的窗口之内出现的次数。每个单词的那一行计数就是它的向量。一个辅助函数会把原始计数变成“比随机情况下多出多少”(PPMI),这样 "the" 就不会主导一切。
一个类比 a : b = c : ? 的答案,是最接近 b 减去 a 加上 c 的那个单词。在这个世界中有 72 个这样的问题。
预测:窗口为 2 个单词时,以及窗口覆盖整个 9 个单词的句子时,答对的比例各是多少?
本课中的词语和符号
- 窗口
- 左右各有多少个单词算作一个单词的伴侣
- PPMI
- 两个单词相遇的频率比随机情况下多多少,负值被设为 0
把 my_guess 设为你的两个预测。编写 cooccurrence(sents, win):一个 V × V 的计数数组,对于同一个句子中每一个在 win 个位置以内的其他单词,在 [word, other] 处加 1。然后用 score(ppmi(...)) 为窗口 2 和 8 填写 acc。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。