课程大纲 第 140 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

关卡:为一个新世界制作词向量(关闭 AI)

为什么重要 独自从原始的句子中构建词向量、检查它们学到了什么,并去掉它们照搬来的一种偏斜,就是用一个任务概括了这个模块。

AI 导师已关闭。检查会给你的函数一个你没见过的世界:来自另一个种子的新句子,其中 nurse 和 engineer 分别偏向 she 和 he。关于它的任何东西都不在你的命名空间里。

本课中的词语和符号
窗口
左右各有多少个单词算作一个单词的伴侣
PPMI
两个单词相遇的频率比随机情况下多多少,负值被设为 0
偏斜
数据中一种向量会照搬的不平衡模式
轮到你了

编写 word_vectors(sents, vocab):用你选择的窗口 WINDOW 统计每个句子内部的共现次数,并返回 ppmi(counts),vocab 中的每个单词一行。编写 debias(X, vocab):返回 X 的一个副本,其中四个职业(nurse、engineer、doctor、teacher)的性别方向已经被去掉(单位向量、四对,和上一课一样),其他每一行都不变。检查会在它自己的世界上给 72 个类比打分(至少答对 95%),然后测量在你的 debias 之后每个职业在性别方向上的位置(全部和零相差在 0.05 以内)。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。