第 12 模块:作为数字的单词(嵌入)
关卡:为一个新世界制作词向量(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 独自从原始的句子中构建词向量、检查它们学到了什么,并去掉它们照搬来的一种偏斜,就是用一个任务概括了这个模块。
AI 导师已关闭。检查会给你的函数一个你没见过的世界:来自另一个种子的新句子,其中 nurse 和 engineer 分别偏向 she 和 he。关于它的任何东西都不在你的命名空间里。
本课中的词语和符号
- 窗口
- 左右各有多少个单词算作一个单词的伴侣
- PPMI
- 两个单词相遇的频率比随机情况下多多少,负值被设为 0
- 偏斜
- 数据中一种向量会照搬的不平衡模式
轮到你了
编写 word_vectors(sents, vocab):用你选择的窗口 WINDOW 统计每个句子内部的共现次数,并返回 ppmi(counts),vocab 中的每个单词一行。编写 debias(X, vocab):返回 X 的一个副本,其中四个职业(nurse、engineer、doctor、teacher)的性别方向已经被去掉(单位向量、四对,和上一课一样),其他每一行都不变。检查会在它自己的世界上给 72 个类比打分(至少答对 95%),然后测量在你的 debias 之后每个职业在性别方向上的位置(全部和零相差在 0.05 以内)。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。