课程大纲 第 139 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

向量会照搬它们的数据,包括偏斜在内

为什么重要 嵌入会学到文本中包含的任何模式,包括那些没有人想要的。在真实新闻上训练的词向量,会把一些职业放得更靠近 "she",把另一些放得更靠近 "he"。你能测量它,而且你应该去测量它。

用只在性别上不同的那些对构造一个性别方向:queen 减去 king、woman 减去 man、princess 减去 prince、girl 减去 boy,加起来并缩放到长度 1。一个单词沿着这个方向的位置,是它的(单位)向量和这个方向的点积:正数偏向 "she",负数偏向 "he"。

这个玩具世界可以加上一种偏斜:在偏斜为 0.4 时,关于 nurse 的句子有 90% 的时候说 "she",关于 engineer 的句子有 90% 的时候说 "he"。doctor 和 teacher 保持 50:50。其他什么都不变。

去除它,以及其中的陷阱

你可以减去每个职业沿着这个方向的分量,这会让它的位置恰好为 0。在这个玩具世界中,这几乎完全有效:去除之后测量,nurse 和 engineer 离 "she" 和 "he" 的远近大致相等(两边的余弦值都是 0.114 和 0.118)。这是因为在这里,偏斜只存在于一个单词,也就是代词之中。而在用真实文本训练的词向量上,研究者们发现的情况正好相反:偏斜分散在成千上万个单词中,一个方向无法捕捉到它,所以在去除之后,一个职业的邻居们仍然会暴露它。所以一把干净的尺子读数并不能证明偏斜已经消失了,而诚实的修复要从数据开始。

本课中的词语和符号
嵌入
代表一个符号的那一行学习得到的数字
窗口
左右各有多少个单词算作一个单词的伴侣
PPMI
两个单词相遇的频率比随机情况下多多少,负值被设为 0
玩具世界
一个植入了结构的虚构文本,这样正确答案就是已知的
偏斜
数据中一种向量会照搬的不平衡模式
轮到你了

编写 gender_direction(X) 和 position(X, word, g)。两者都作用在单位向量上:先把每个单词的向量除以它的长度,然后取那四个差(queen 减去 king、woman 减去 man、princess 减去 prince、girl 减去 boy),把它们加起来,再把和缩放到长度 1。一个位置就是这个单词的单位向量和 g 的点积。填写 pos:偏斜(0.0 和 0.4)到一个包含四个职业位置的字典,使用以整个句子为窗口的计数向量。然后编写 remove(x, g),去掉沿着 g 的分量。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。