课程大纲 第 100 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

两层的前向传播

一个神经元是一条直线。把一层神经元堆起来,加上一个非线性,再把它喂进另一层,网络就能弯曲成几乎任何形状。让数据跑过各层得到输出,这叫作前向传播。

一层就是一次矩阵乘法:权重矩阵的每一列是一个神经元的权重。用 numpy,整个层就是 x @ W + b(@ 运算符是矩阵乘法)。

在层与层之间,我们应用一个非线性激活函数。现代网络偏爱 ReLU(修正线性单元),它就是 max(0, z):保留正数,把负数归零。没有非线性的话,堆叠的层会塌缩回一条直线。

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

为什么我们在这里用 numpy

做这件事真正的框架是 TensorFlow 和 PyTorch。它们没法在这一课里运行:Pyodide 是编译成 WebAssembly、运行在你浏览器里的 CPython,而那些库带有沉重的原生 C++ 和 CUDA/GPU 代码,没有 WebAssembly 版本。所以我们用几行 numpy 来获得直觉,而这正是前向传播在底层的样子。框架加上的是自动求导、GPU 和规模,而不是关于这一步的新想法。

注意形状:一个长度为 3 的输入经过一个 3x4 的权重矩阵,得到 4 个隐藏值;再经过一个 4x1 的矩阵,就变成一个单独的输出。

轮到你了

完成前向传播。用 np.maximum 写 relu(z),然后用提供的权重计算隐藏层 h = relu(x @ W1 + b1) 和输出 out = h @ W2 + b2。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。