课程大纲 第 24 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

矩阵乘法:一次算完一整层

为什么重要 一层是很多个神经元,一批是很多个输入。一次矩阵乘法就能在一行之内算出每一个神经元在每一个输入上的结果。

把输入堆叠成 X 的各行(形状:输入数乘特征数)。把每个神经元的权重堆叠成 W 的一列(形状:特征数乘神经元数)。那么 X @ W 每个输入一行、每个神经元一列:第 (i, j) 项是输入 i 和神经元 j 的权重的点积。

很小的数字

X = [[1, 2],      W = [[1, 0, -1],
     [3, 4]]           [0, 1,  1]]
X @ W = [[1, 2, 1],
         [3, 4, 1]]

第 1 行第 3 列:1 乘 -1 加 2 乘 1 等于 1。形状是串起来的:(2, 2) @ (2, 3) 得到 (2, 3)。中间的两个数字必须一致。

矩阵乘法:左边的每一行乘以右边的每一列,以点积的方式。

回顾 (batch, in) @ (in, out) = (batch, out)。这一条形状规则贯穿整门课。

本课中的词语和符号
点积(a . b)
把对应的项相乘再全部加起来;两个向量方向一致时它很大
轮到你了

编写 layer(X, W, b),返回 X @ W + b,以及 layer_shape(batch, n_in, n_out),不构建任何数组,以元组形式返回输出形状。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。