一步一步地加入噪声
为什么重要 如今 AI 艺术背后的图像生成器,是从噪声开始倒着工作的。为了学会去除噪声,一个网络首先需要确切地看到噪声是怎样被加入的。这前一半是纯粹的算术,而它有一条让训练成为可能的捷径。
取一个干净的点 x0(一个像素值,或者二维中的一个点)。在 T = 100 步中的每一步,把它缩小一点,再加一点新的噪声:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps,其中 eps 取自 N(0, 1)
列表 beta_0 ... beta_99 就是噪声计划。看一看这个场景:一个由点组成的螺旋溶解成一团圆形的噪声云。
捷径
一次又一次地缩小并加入钟形曲线噪声,和用总量一次性完成是一样的。把直到第 t 步为止所有 (1 - beta) 因子的乘积记作 abar_t。那么
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
一步到位:剩下的信号是 sqrt(abar_t),噪声的离散程度是 sqrt(1 - abar_t)。训练可以瞬间跳到任意一步,而不用一步步走过去。
很小的数字
两步,每步 beta = 0.1:abar = 0.9 × 0.9 = 0.81。从 x0 = 1 出发,剩下的信号是 sqrt(0.81) = 0.9,噪声的离散程度是 sqrt(0.19) = 0.44。一步步走:第 1 步之后,0.949 × 1 加上离散程度为 0.316 的噪声;第 2 步之后,一切又缩小 0.949 倍,并加入离散程度为 0.316 的新噪声。离散程度以平方相加:0.949^2 × 0.1 + 0.1 = 0.19。同样的答案。
本课中的词语和符号
- 噪声计划(beta)
- 每一步混入多少新的噪声
- abar
- 经过若干步之后原始信号所剩下的比例(它的平方根乘以 x0)
- x0、x_t
- 干净的数据,以及经过 t 步噪声之后的同一份数据
- eps
- 被加入的钟形曲线噪声;网络学习去预测它
编写 walk(x0, t, beta, rng)(一次一步,从第 0 步到第 t 步共 t + 1 步)和 jump(x0, t, abar, eps)(捷径)。然后用两种方式把点 (1.0, -0.5) 的 20000 个副本加噪到第 40 步,并用每种版本的均值和离散程度(按坐标)填写 stats,旁边放上计划所说的它们应有的值。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。