第 3 模块:从神经元到 MLP
用纯 NumPy 写的数字识别器
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这是一个真正的神经网络在读真正的手写字,每一行都由你写成。它是经典的第一个网络,不借助任何库搭建。
数据是 1,797 个手写数字,每个都是一张展平成 64 个数字的 8 乘 8 图像(著名的 28 乘 28 MNIST 数据集的一个小号低分辨率表亲,来自另一个数据集)。网络就是上一课的那个:64 个输入,一个有 64 个 ReLU 神经元的隐藏层,以及 10 个输出。
训练循环
- 让权重从小的随机值开始:
rng.normal(0, 0.1, shape),偏置为零。 - 每一轮(epoch),打乱训练数据,并以 32 个为一组的小批量走一遍。
- 对每一个小批量,运行
forward_backward,并让每一个权重逆着它的梯度迈一步。
小批量:用于一步训练的一小片随机数据。它比每一步都用全部数据快得多,而且其中的噪声甚至有帮助。
预测曲线:在 my_guess 中猜出第 1 轮之后和第 20 轮之后的训练损失。
回顾 打乱,切片,前向,反向,迈步。重复。
本课中的词语和符号
- 神经元
- w . x + b,然后接一个激活函数
- 权重(w、W)、偏置(b)
- 神经元学习的数字;偏置会平移它的输出
- ReLU
- max(0, z):保留正数,把负数变成零
- 学习率(lr)
- 每一步训练有多大
- 隐藏层
- 输入和输出之间的一层,它构建新的特征
轮到你了
用你的 forward_backward 编写 train(X, y, hidden, lr, epochs, seed),返回一个权重字典,以及 predict(params, X),为每一行返回预测的数字。填写 my_guess。隐藏测试会在 397 个你从没训练过的数字上测量准确率:达到至少 95%。(lr 0.5、20 轮、64 个隐藏神经元是可行的。)
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。