模型是怎样学习的
一个全新的网络有随机的权重,毫无用处。训练就是不断微调这些权重、直到输出变好的过程。有两个想法在驱动它。
1. 损失函数衡量错得有多离谱
你需要一个单独的数来说明预测有多糟。对于回归,首选是均方误差(MSE):对真实值和预测值之间差距的平方求平均。
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))平方会更重地惩罚大的偏差,并让一切都保持为正。损失越低越好;损失为零意味着完美拟合。
2. 梯度下降往山下滚
把损失想象成一个起伏的表面,而权重是你在它上面的位置。梯度是斜率:它指向上坡,也就是损失更大的方向。所以要减少损失,你就朝相反的方向迈一小步。
w = w - learning_rate * gradient学习率就是步长。把这个过程重复成千上万次,权重就会滚向一个低损失的山谷。训练就是这个循环,仅此而已。
对于一个带 MSE 的玩具模型 y = w * x,损失对 w 的梯度算出来是 mean(2 * (w*x - y) * x)。你会恰好迈出一步,并看到损失下降。
从一个权重到整个网络
你在上一课构建的两层网络有很多权重,而不是一个。训练它意味着一层一层地找到损失对每一个权重的梯度。这就是反向传播:从损失出发,在每一层上反向应用链式法则,得到每个权重的斜率,然后同时在所有权重上迈出同样的下坡一步。算术更繁重,但想法和你下面要迈出的那一步完全一样。在真实代码里,你从来不需要手工推导它:像 PyTorch 这样的框架会记录前向传播,一次 loss.backward() 调用就能替你算出每一个梯度。我们在这里做单个权重的版本,是为了让这套机制保持具体。
实现 mse(y_true, y_pred)(差的平方的平均值)。然后,对于玩具模型 y = w * x,计算 loss_before,用 grad = np.mean(2 * (w*x - y) * x) 和 w = w - lr * grad 迈出一步梯度下降,然后计算 loss_after。损失必须下降。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。