第 13 模块:注意力和 transformer
用 PyTorch 的说法来讲你的引擎
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 学完这门课的第二天,你就会遇到 PyTorch(或者另一个框架)。你构建的一切都能对应到它上面;只有少数几个约定不同,而人们移植代码时的大部分 bug 都出在它们身上。
PyTorch 没法在这个浏览器里运行,所以这一课用 NumPy 把课程的数组转换成 PyTorch 的布局,并精确地检查这些转换。
| 东西 | 本课程 | PyTorch |
|---|---|---|
| 线性层权重 | W 是 (n_in, n_out),输出 x @ W + b | weight 是 (out, in),输出 x @ weight.T + bias |
| 初始权重 | 每一层都用离散程度为 sqrt(2 / n_in) 的正态分布(He),偏置为 0 | nn.Linear 默认:在大约 ±1 / sqrt(n_in) 之内均匀分布,偏置也是均匀分布 |
| 图像 | 通道在后,(N, H, W, C) | 通道在前,(N, C, H, W) |
| 卷积权重 | (k × k × C_in, C_out),各行按 (row, column, channel) 排序 | (C_out, C_in, k, k) |
| BatchNorm 的滑动方差 | 除以 n 的批方差 | 无偏的那个,除以 n - 1(归一化时仍然用 n) |
| 清空梯度 | 课程的 Adam.step() 自己就会清空 | 你每一步都要调用 optimizer.zero_grad() |
哪些张量保留 .grad | 计算图的每一个节点 | 只有像权重这样的叶子张量,除非你调用 retain_grad() |
| GELU | z * sigmoid(1.702 z),一种近似 | 默认是带 erf 的精确形式;快速版本用 approximate='tanh' |
| LSTM | 在 [x, h] 上用一个权重矩阵,遗忘门偏置从 1 或 3 开始 | 分开的输入权重和隐藏权重,带两个偏置,全部从小的随机值开始 |
| 小 GPT 块 | ReLU,线性层没有偏置:12d² + 4d 个权重 | GPT-2:GELU 加偏置:12d² + 13d |
这些都没有错;它们只是选择。会悄无声息地弄坏一次移植的是布局:一个转置了的线性层权重,或者一张通道在后的图像,在尺寸恰好对得上时会给出错误的数字,却不报任何错。
本课中的词语和符号
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了
编写 linear_to_torch(W, b),返回 PyTorch 的 (weight, bias);编写 nhwc_to_nchw(X);编写 conv_to_torch(w, c_in),返回 (C_out, C_in, k, k) 的权重;以及 unbiased(var, n),把一个除以 n 的方差变成除以 n - 1 的方差。隐藏测试会用你的权重运行一个按 PyTorch 方式写的通道在前的卷积,并把它和课程的 conv 进行比较。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。