课程大纲 第 157 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

用 PyTorch 的说法来讲你的引擎

为什么重要 学完这门课的第二天,你就会遇到 PyTorch(或者另一个框架)。你构建的一切都能对应到它上面;只有少数几个约定不同,而人们移植代码时的大部分 bug 都出在它们身上。

PyTorch 没法在这个浏览器里运行,所以这一课用 NumPy 把课程的数组转换成 PyTorch 的布局,并精确地检查这些转换。

东西本课程PyTorch
线性层权重W 是 (n_in, n_out),输出 x @ W + bweight 是 (out, in),输出 x @ weight.T + bias
初始权重每一层都用离散程度为 sqrt(2 / n_in) 的正态分布(He),偏置为 0nn.Linear 默认:在大约 ±1 / sqrt(n_in) 之内均匀分布,偏置也是均匀分布
图像通道在后,(N, H, W, C)通道在前,(N, C, H, W)
卷积权重(k × k × C_in, C_out),各行按 (row, column, channel) 排序(C_out, C_in, k, k)
BatchNorm 的滑动方差除以 n 的批方差无偏的那个,除以 n - 1(归一化时仍然用 n)
清空梯度课程的 Adam.step() 自己就会清空你每一步都要调用 optimizer.zero_grad()
哪些张量保留 .grad计算图的每一个节点只有像权重这样的叶子张量,除非你调用 retain_grad()
GELUz * sigmoid(1.702 z),一种近似默认是带 erf 的精确形式;快速版本用 approximate='tanh'
LSTM在 [x, h] 上用一个权重矩阵,遗忘门偏置从 1 或 3 开始分开的输入权重和隐藏权重,带两个偏置,全部从小的随机值开始
小 GPT 块ReLU,线性层没有偏置:12d² + 4d 个权重GPT-2:GELU 加偏置:12d² + 13d

这些都没有错;它们只是选择。会悄无声息地弄坏一次移植的是布局:一个转置了的线性层权重,或者一张通道在后的图像,在尺寸恰好对得上时会给出错误的数字,却不报任何错。

本课中的词语和符号
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了

编写 linear_to_torch(W, b),返回 PyTorch 的 (weight, bias);编写 nhwc_to_nchw(X);编写 conv_to_torch(w, c_in),返回 (C_out, C_in, k, k) 的权重;以及 unbiased(var, n),把一个除以 n 的方差变成除以 n - 1 的方差。隐藏测试会用你的权重运行一个按 PyTorch 方式写的通道在前的卷积,并把它和课程的 conv 进行比较。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。