第 3 模块:从神经元到 MLP
用凸起拼出任何曲线(万能逼近)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 人们说,一个只有一个隐藏层的网络可以拟合任何曲线。在这里你会看到为什么,方法是自己用凸起把它搭出来。
看见它
一个非常陡的 sigmoid 就是一个阶跃:左边是 0,右边是 1。两个阶跃,一个在 left 处往上,一个在 right 处往下,就构成一个凸起:height * (sigmoid(s (x - left)) - sigmoid(s (x - right)))。那是两个隐藏神经元和一个输出权重。把凸起并排放好,每个都和曲线在它那个位置一样高,你就能描出任何曲线,就像一张柱状图。神经元越多,柱子越细,拟合越紧。
万能逼近:一个有足够多神经元的隐藏层,可以任意接近任何合理的曲线。它没有说通过训练找到这些权重有多容易。
回顾 两个神经元构成一个凸起;足够多的凸起能构成任何东西。
本课中的词语和符号
- 神经元
- w . x + b,然后接一个激活函数
- 权重(w、W)、偏置(b)
- 神经元学习的数字;偏置会平移它的输出
- sigmoid
- 1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
- 隐藏层
- 输入和输出之间的一层,它构建新的特征
轮到你了
编写 bump(x, left, right, height, s=60),然后编写 approx(x, f, n_bumps),它把 0 到 pi 分成 n_bumps 个相等的小段,每段加一个凸起,每个凸起的高度是 f 在该段中点的值。用 10 个凸起(20 个神经元),在 0 到 pi 上相对 sin 的均方误差必须低于 0.01。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。