课程大纲 第 32 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

离散程度如何相加,以及矩阵会拉伸什么

为什么重要 有两个事实决定了一个深度网络到底能不能训练:和的离散程度如何随项数增长(第 6 模块用它来设定初始权重),以及一个矩阵每次作用时会把一个向量拉伸多少(第 11 模块的 RNN 会一次又一次地作用同一个矩阵)。

和的离散程度

把 n 个独立的数加起来,每个的方差都是 v。方差会相加:这个和的方差是 n v,所以它的离散程度(标准差)是 sqrt(n v)。很小的数字:100 个输入,每个离散程度为 1,它们的和离散程度是 10,既不是 100,也不是 1。一个神经元把 n 个输入乘以权重再加起来,所以要让它输出的离散程度保持在 1 附近,每个权重的离散程度需要大约是 1 / sqrt(n)。这就是第 6 模块初始权重背后的想法。

矩阵会拉伸什么

有些向量被矩阵 A 相乘时只是变长或变短;它们的方向保持不变。这样的向量是一个特征向量,而拉伸倍数就是它的特征值。用 A 一次又一次地乘一个向量,(按大小)特征值最大的那个方向会胜出:t 步之后,长度会像那个特征值的 t 次方那样增长或缩小。所以最大的大小超过 1 就会爆炸,低于 1 就会消失。

很小的数字:A = [[0.5, 0], [0, 1.2]]。它的特征值是 0.5 和 1.2。10 步之后,第一个方向缩小到 0.510,大约 0.001,第二个方向增长到 1.210,大约 6.2。

特征值:一个矩阵把一个特殊方向拉伸多少。谱半径:按大小最大的那个特征值,它决定反复相乘是增长还是消失。

回顾 方差相加,所以离散程度像 sqrt(n) 那样增长。反复相乘会像最大特征值的 t 次方那样增长。

本课中的词语和符号
向量
一组数字,每个特征一个
轮到你了

三个步骤:

  1. 编写 sum_spread(n, sd, trials, seed):用 rng = np.random.default_rng(seed),抽取 trials 个由 n 个离散程度为 sd 的正态数字组成的和,并返回这些和的离散程度(np.std)。
  2. 把 predicted 设为这条规则在 n = 100、sd = 0.5 时给出的离散程度(sqrt(n) × sd)。
  3. 编写 growth_rate(A, steps=200):从一个全是 1 的向量开始;重复 steps 次,乘以 A,再把结果重新缩放到长度 1;返回这个向量在最后一次重新缩放之前的长度。算好的例子:对于 A = [[0.5, 0], [0, 1.2]],答案是 1.2。

为什么第 3 步可行:反复相乘让最大的拉伸胜出,所以最后一步的长度就是按大小最大的特征值,不用任何特征值函数就能找到。(检查使用对称矩阵,这时它总是成立。对于其他一些矩阵,最大的两个是一对复数,长度会一步一步地摇摆;你不会需要那种情况。)

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。