课程大纲 第 49 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

用纯 NumPy 写的数字识别器

为什么重要 这是一个真正的神经网络在读真正的手写字,每一行都由你写成。它是经典的第一个网络,不借助任何库搭建。

数据是 1,797 个手写数字,每个都是一张展平成 64 个数字的 8 乘 8 图像(著名的 28 乘 28 MNIST 数据集的一个小号低分辨率表亲,来自另一个数据集)。网络就是上一课的那个:64 个输入,一个有 64 个 ReLU 神经元的隐藏层,以及 10 个输出。

训练循环

  1. 让权重从小的随机值开始:rng.normal(0, 0.1, shape),偏置为零。
  2. 每一轮(epoch),打乱训练数据,并以 32 个为一组的小批量走一遍。
  3. 对每一个小批量,运行 forward_backward,并让每一个权重逆着它的梯度迈一步。

小批量:用于一步训练的一小片随机数据。它比每一步都用全部数据快得多,而且其中的噪声甚至有帮助。

预测曲线:在 my_guess 中猜出第 1 轮之后和第 20 轮之后的训练损失。

回顾 打乱,切片,前向,反向,迈步。重复。

本课中的词语和符号
神经元
w . x + b,然后接一个激活函数
权重(w、W)、偏置(b)
神经元学习的数字;偏置会平移它的输出
ReLU
max(0, z):保留正数,把负数变成零
学习率(lr)
每一步训练有多大
隐藏层
输入和输出之间的一层,它构建新的特征
轮到你了

用你的 forward_backward 编写 train(X, y, hidden, lr, epochs, seed),返回一个权重字典,以及 predict(params, X),为每一行返回预测的数字。填写 my_guess。隐藏测试会在 397 个你从没训练过的数字上测量准确率:达到至少 95%。(lr 0.5、20 轮、64 个隐藏神经元是可行的。)

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。