离散程度如何相加,以及矩阵会拉伸什么
为什么重要 有两个事实决定了一个深度网络到底能不能训练:和的离散程度如何随项数增长(第 6 模块用它来设定初始权重),以及一个矩阵每次作用时会把一个向量拉伸多少(第 11 模块的 RNN 会一次又一次地作用同一个矩阵)。
和的离散程度
把 n 个独立的数加起来,每个的方差都是 v。方差会相加:这个和的方差是 n v,所以它的离散程度(标准差)是 sqrt(n v)。很小的数字:100 个输入,每个离散程度为 1,它们的和离散程度是 10,既不是 100,也不是 1。一个神经元把 n 个输入乘以权重再加起来,所以要让它输出的离散程度保持在 1 附近,每个权重的离散程度需要大约是 1 / sqrt(n)。这就是第 6 模块初始权重背后的想法。
矩阵会拉伸什么
有些向量被矩阵 A 相乘时只是变长或变短;它们的方向保持不变。这样的向量是一个特征向量,而拉伸倍数就是它的特征值。用 A 一次又一次地乘一个向量,(按大小)特征值最大的那个方向会胜出:t 步之后,长度会像那个特征值的 t 次方那样增长或缩小。所以最大的大小超过 1 就会爆炸,低于 1 就会消失。
很小的数字:A = [[0.5, 0], [0, 1.2]]。它的特征值是 0.5 和 1.2。10 步之后,第一个方向缩小到 0.510,大约 0.001,第二个方向增长到 1.210,大约 6.2。
特征值:一个矩阵把一个特殊方向拉伸多少。谱半径:按大小最大的那个特征值,它决定反复相乘是增长还是消失。
回顾 方差相加,所以离散程度像 sqrt(n) 那样增长。反复相乘会像最大特征值的 t 次方那样增长。
本课中的词语和符号
- 向量
- 一组数字,每个特征一个
三个步骤:
- 编写
sum_spread(n, sd, trials, seed):用rng = np.random.default_rng(seed),抽取trials个由 n 个离散程度为 sd 的正态数字组成的和,并返回这些和的离散程度(np.std)。 - 把
predicted设为这条规则在 n = 100、sd = 0.5 时给出的离散程度(sqrt(n) × sd)。 - 编写
growth_rate(A, steps=200):从一个全是 1 的向量开始;重复steps次,乘以 A,再把结果重新缩放到长度 1;返回这个向量在最后一次重新缩放之前的长度。算好的例子:对于 A = [[0.5, 0], [0, 1.2]],答案是 1.2。
为什么第 3 步可行:反复相乘让最大的拉伸胜出,所以最后一步的长度就是按大小最大的特征值,不用任何特征值函数就能找到。(检查使用对称矩阵,这时它总是成立。对于其他一些矩阵,最大的两个是一对复数,长度会一步一步地摇摆;你不会需要那种情况。)
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。