课程大纲 第 134 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

嵌入是一次查找,而一次查找就是一次乘法

为什么重要 网络只会做算术,但文本是由符号组成的。每一个语言模型一开始都会把每个符号变成一个短的数字列表,也就是它的嵌入。

给每个符号一个从 0 到 V 减 1 的数字(它的 ID)。嵌入表 E 每个符号一行,每行 d 个数字。把一个 ID 变成数字,就只是读取它的那一行:E[id]。

为什么它仍然是一层

把 ID 写成一个独热向量:V 个零,只在位置 id 上有一个 1。那么独热向量乘以 E 恰好挑出那一行。所以一个嵌入就是一个输入碰巧是独热向量的线性层。我们改用查找,是因为它跳过了 V 乘以 d 次和零相乘的运算。

它还告诉你它是怎么训练的:梯度只会到达被用到的那些行。一个从未出现在某个批次中的符号,它的那一行保持不变。

很小的数字

V = 3,d = 2,E = [[1, 2], [3, 4], [5, 6]]。ID 1 的独热表示是 [0, 1, 0],而 [0, 1, 0] 乘以 E = [3, 4],和 E[1] 一样。

本课中的词语和符号
嵌入
代表一个符号的那一行学习得到的数字
独热
V 个零加上一个 1;乘以嵌入表,它会挑出一行
轮到你了

编写 onehot(ids, V),返回一个形状为 (len(ids), V) 的数组。然后把 rows_with_gradient 设为在所示的反向传播之后,嵌入表中得到非零梯度的行数。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。