课程大纲 第 45 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

用凸起拼出任何曲线(万能逼近)

为什么重要 人们说,一个只有一个隐藏层的网络可以拟合任何曲线。在这里你会看到为什么,方法是自己用凸起把它搭出来。

看见它

一个非常陡的 sigmoid 就是一个阶跃:左边是 0,右边是 1。两个阶跃,一个在 left 处往上,一个在 right 处往下,就构成一个凸起:height * (sigmoid(s (x - left)) - sigmoid(s (x - right)))。那是两个隐藏神经元和一个输出权重。把凸起并排放好,每个都和曲线在它那个位置一样高,你就能描出任何曲线,就像一张柱状图。神经元越多,柱子越细,拟合越紧。

万能逼近:一个有足够多神经元的隐藏层,可以任意接近任何合理的曲线。它没有说通过训练找到这些权重有多容易。

回顾 两个神经元构成一个凸起;足够多的凸起能构成任何东西。

本课中的词语和符号
神经元
w . x + b,然后接一个激活函数
权重(w、W)、偏置(b)
神经元学习的数字;偏置会平移它的输出
sigmoid
1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
隐藏层
输入和输出之间的一层,它构建新的特征
轮到你了

编写 bump(x, left, right, height, s=60),然后编写 approx(x, f, n_bumps),它把 0 到 pi 分成 n_bumps 个相等的小段,每段加一个凸起,每个凸起的高度是 f 在该段中点的值。用 10 个凸起(20 个神经元),在 0 到 pi 上相对 sin 的均方误差必须低于 0.01。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。