两层的前向传播
一个神经元是一条直线。把一层神经元堆起来,加上一个非线性,再把它喂进另一层,网络就能弯曲成几乎任何形状。让数据跑过各层得到输出,这叫作前向传播。
一层就是一次矩阵乘法:权重矩阵的每一列是一个神经元的权重。用 numpy,整个层就是 x @ W + b(@ 运算符是矩阵乘法)。
在层与层之间,我们应用一个非线性激活函数。现代网络偏爱 ReLU(修正线性单元),它就是 max(0, z):保留正数,把负数归零。没有非线性的话,堆叠的层会塌缩回一条直线。
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layer为什么我们在这里用 numpy
做这件事真正的框架是 TensorFlow 和 PyTorch。它们没法在这一课里运行:Pyodide 是编译成 WebAssembly、运行在你浏览器里的 CPython,而那些库带有沉重的原生 C++ 和 CUDA/GPU 代码,没有 WebAssembly 版本。所以我们用几行 numpy 来获得直觉,而这正是前向传播在底层的样子。框架加上的是自动求导、GPU 和规模,而不是关于这一步的新想法。
注意形状:一个长度为 3 的输入经过一个 3x4 的权重矩阵,得到 4 个隐藏值;再经过一个 4x1 的矩阵,就变成一个单独的输出。
完成前向传播。用 np.maximum 写 relu(z),然后用提供的权重计算隐藏层 h = relu(x @ W1 + b1) 和输出 out = h @ W2 + b2。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。