第 12 模块:作为数字的单词(嵌入)
嵌入是一次查找,而一次查找就是一次乘法
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 网络只会做算术,但文本是由符号组成的。每一个语言模型一开始都会把每个符号变成一个短的数字列表,也就是它的嵌入。
给每个符号一个从 0 到 V 减 1 的数字(它的 ID)。嵌入表 E 每个符号一行,每行 d 个数字。把一个 ID 变成数字,就只是读取它的那一行:E[id]。
为什么它仍然是一层
把 ID 写成一个独热向量:V 个零,只在位置 id 上有一个 1。那么独热向量乘以 E 恰好挑出那一行。所以一个嵌入就是一个输入碰巧是独热向量的线性层。我们改用查找,是因为它跳过了 V 乘以 d 次和零相乘的运算。
它还告诉你它是怎么训练的:梯度只会到达被用到的那些行。一个从未出现在某个批次中的符号,它的那一行保持不变。
很小的数字
V = 3,d = 2,E = [[1, 2], [3, 4], [5, 6]]。ID 1 的独热表示是 [0, 1, 0],而 [0, 1, 0] 乘以 E = [3, 4],和 E[1] 一样。
本课中的词语和符号
- 嵌入
- 代表一个符号的那一行学习得到的数字
- 独热
- V 个零加上一个 1;乘以嵌入表,它会挑出一行
轮到你了
编写 onehot(ids, V),返回一个形状为 (len(ids), V) 的数组。然后把 rows_with_gradient 设为在所示的反向传播之后,嵌入表中得到非零梯度的行数。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。