所有课程 免费 · 无需账号 · 在你的浏览器里

神经网络:从神经元到 Transformer

自己动手构建神经网络,从一个神经元到一个 Transformer,然后是生成模型、扩散模型、缩放定律以及观察模型的内部,用纯 Python 和 NumPy,在你的浏览器里训练。编写你自己的自动微分,诊断出问题的训练过程,依据证据评判各种说法,并以一个可以重放的毕业项目收尾。免费,无需账号。

25 个模块 246 节课 246 个自动评分的练习 自定进度 · 约 143 小时的内容 在你的浏览器里训练,不需要 GPU先预测曲线,再运行它
你的进度 已完成 0 / 246 个练习
每日目标
第 1 模块 · 60 分钟

第 0 模块:起跑线

你将能够:说出这门课是怎么运作的、它测量什么;做出一个预测,并对照一次训练检验它;记录下你在四个刻度盘上的起始分数;以 FLOPs 为单位测量你设备的速度。

第 1 阶段,共 7 个 · 网络层 起跑线 通过这个阶段的全部 5 个练习,获得它的那一层。
第 3 模块 · 约 7 小时

第 2 模块:数学和概率,只学需要的

你将能够:计算点积、矩阵乘法和广播;通过微调和链式法则求斜率,对数字和对整个矩阵都能求;解释离散程度如何相加,以及特征值的作用;推导 softmax 的梯度;编写永远不会溢出的 log-sum-exp、softmax 和交叉熵(关卡)。

第 2 阶段,共 7 个 · 网络层 基础 通过这个阶段的全部 3 个练习,获得它的那一层。
第 3 阶段,共 7 个 · 网络层 让训练奏效 通过这个阶段的全部 40 个练习,获得它的那一层。
第 14 模块 · 约 10 小时

第 13 模块:注意力和 transformer

你将能够:构建注意力、因果掩码、多个头、位置、层归一化,以及一个和真实模型完全一致的整块;推导注意力的反向传播;训练一个小 GPT;读懂记录下来的运行;用缓存来生成;把你的引擎对应到 PyTorch 上;修复一个坏掉的 transformer(关卡)。

第 4 阶段,共 7 个 · 网络层 面向结构的架构 通过这个阶段的全部 56 个练习,获得它的那一层。
第 17 模块 · 约 4 小时

第 16 模块:博弈中的两个网络(GAN,选修)

选修模块,获得证书不需要它。你将能够:写出 GAN 的损失,并根据它们的斜率说出饱和损失什么时候会停滞;在八个团块上训练一个 GAN 并评判它的覆盖程度;让模式崩塌发生;在被记录的种子上测试那些稳定化技巧并报告什么有帮助;运行一个卷积生成器;独自拯救一个出问题的 GAN(关卡)。

第 18 模块 · 约 8 小时

第 17 模块:噪声进去,图片出来(扩散模型)

你将能够:按照一个计划一步一步地以及一次跳跃地加入噪声;把网络的箭头读回到数据;训练一个噪声预测器;用 DDPM 采样,并说出为什么要裁剪干净的估计;通过测量比较噪声计划和时间输入;构建一个 U-Net;用 DDIM 以更少的步数采样;用无分类器引导来引导样本;微调一个训练好的模型;独自拟合一个新的形状(关卡)。

第 19 模块 · 约 6 小时

第 18 模块:没有标签的学习

你将能够:通过最近邻的一致性以及一个你自己编写的线性探针来评判特征;用掩码预测进行预训练;编写 InfoNCE 并说出它为什么就是交叉熵;用 SimCLR 进行预训练,并解读它的数据增强决定了什么;把说明文字和图片匹配起来(选修);独自在模型从未见过的物体上测试特征(关卡)。

第 5 阶段,共 7 个 · 网络层 会创造东西的网络 通过这个阶段的全部 26 个练习,获得它的那一层。
第 20 模块 · 约 5 小时

第 19 模块:更大,又能好多少(缩放定律)

你将能够:以 FLOPs 计算一次训练的成本;拟合一条带下限的幂律并给出误差线;读出是权重还是数据在限制一次训练;为一个固定的预算规划最佳的模型规模;预测一次更大的训练并检查它;区分一次真实的跃升和一个制造出跃升的指标;独自规划一次训练(关卡)。

第 21 模块 · 约 5 小时

第 20 模块:低成本地适配一个训练好的模型

你将能够:展示灾难性遗忘;计数、构建 LoRA 并对它做梯度检查;根据测量选择它的秩;在你自己的文本上微调一个模型而不把它弄坏;说出蒸馏什么时候有帮助;量化权重并预测其代价;用 DPO 调整偏好并及时停下;为一种情况选择一种方法;独自在一个预算之内达到一个适配目标(关卡)。

第 22 模块 · 约 8 小时

第 21 模块:观察模型的内部

你将能够:说出关于一个模型内部的证据是一种模式、一种效应还是一种机制;带着一个对照组运行一个探针;修补激活值以找出信息在哪里;去掉部件并检查有没有备份;在你面前的这个模型上检验一个教科书上的机制;在一个玩具中展示叠加;训练一个稀疏自编码器,并在没见过的文本上检验一个特征的标签;从被记录的训练中解读顿悟,并通过去掉它们来检验其中的波;独自在新的输入上找出信息在哪里(关卡)。

第 23 模块 · 约 5 小时

第 22 模块:评判各种说法

你将能够:通过重叠找出一个泄漏了的测试集,并报告干净的分数;沿着真正要紧的那一部分拆分一个平均损失;说出置零消融和均值消融有什么不同,并报告所用的方法;用标准误区分一个只靠一个种子得出的差异和一个经过测量的差异;在新的种子上复现一个结果,并找出它不再成立的设置;独自评审一个说法(关卡)。

第 6 阶段,共 7 个 · 网络层 规模与理解 通过这个阶段的全部 36 个练习,获得它的那一层。
第 24 模块 · 约 7 小时

第 23 模块:毕业项目工作室:一张你可以运行的模型卡

你将能够:用一个 FLOP 预算规划一个项目;在多个种子上预测并运行一个基线;用误差线评判各种改动;通过梯度检查找出一个仍然能训练的缺陷;对照一个未训练的对照组,在你的模型内部得出一个发现;在一个隐藏的集合上带着误差线评估一次;写一张每一个数字都和你的运行日志相符的模型卡;导出一个其中的训练可以重放的离线文件。

第 25 模块 · 50 分钟

第 24 模块:期末考试与复测

你将能够:在关闭 AI 的情况下,展示第 2 部分在全部四个刻度盘上教会了你什么(C 卷);比较你从起跑线到第 2 部分结束时的刻度盘;一个月之后检查留下了什么(D 卷,选修)。

第 7 阶段,共 7 个 · 网络层 毕业项目与证明 通过这个阶段的全部 10 个练习,获得它的那一层。