神经网络:从神经元到 Transformer
自己动手构建神经网络,从一个神经元到一个 Transformer,然后是生成模型、扩散模型、缩放定律以及观察模型的内部,用纯 Python 和 NumPy,在你的浏览器里训练。编写你自己的自动微分,诊断出问题的训练过程,依据证据评判各种说法,并以一个可以重放的毕业项目收尾。免费,无需账号。
真正的 Python 和 NumPy 已经在这个标签页里准备好了。
无需安装,无需账号,无需设置。这门课程里的每个网络都在你自己的设备上训练,你写的任何东西都不会离开它。第 1 模块帮你温习所需的 Python 和 NumPy。已经很熟练了?它的最后一课是一个简短的关卡,你可以先参加:通过了,课程就会直接带你往前走。
每日复习
间隔重复让你学到的东西不会淡忘。
第 0 模块:起跑线
你将能够:说出这门课是怎么运作的、它测量什么;做出一个预测,并对照一次训练检验它;记录下你在四个刻度盘上的起始分数;以 FLOPs 为单位测量你设备的速度。
第 1 模块:这门课用到的 Python
你将能够:编写并测试作用于列表和字典的函数;用 NumPy 数组、形状、切片和广播代替循环;以可复现的方式给随机性设定种子;编写小的类和闭包。由 Python 关卡检查(已经很熟练了?先挑战它:通过就能跳过这个模块)。
第 2 模块:数学和概率,只学需要的
你将能够:计算点积、矩阵乘法和广播;通过微调和链式法则求斜率,对数字和对整个矩阵都能求;解释离散程度如何相加,以及特征值的作用;推导 softmax 的梯度;编写永远不会溢出的 log-sum-exp、softmax 和交叉熵(关卡)。
第 3 模块:从神经元到 MLP
你将能够:用 NumPy 构建一个神经元、激活函数和一个两层网络;亲手推导反向传播并用梯度检查器检查它;训练一个准确率超过 95% 的数字识别器;为一个新的数据集构建并训练你自己的网络(关卡)。
第 4 模块:你自己的自动微分引擎
你将能够:构建一个反向模式的自动微分引擎(计算图、拓扑顺序、反向规则、广播、归约);对照微调去检查它;在它上面训练一个网络,不需要任何手写的梯度;独自添加一种新的运算(关卡)。
第 5 模块:优化
你将能够:解释为什么一个被拉伸的地形会很慢;构建小批量 SGD、动量、RMSProp、Adam 和 AdamW、学习率计划和裁剪;在一个预算之内,为一个你没见过的问题挑选并调整一个优化器(关卡)。
第 6 模块:起始权重与归一化
你将能够:测量信号穿过各层深度的情况,并选择 Xavier、LeCun 或 He 的缩放;找出死亡单元;构建 BatchNorm 的前向和反向传播、LayerNorm 和 RMSNorm;避开训练/评估模式的陷阱;在深层网络中使用捷径。
第 7 模块:在新数据上工作
你将能够:测量过拟合和欠拟合、偏差和方差;使用权重衰减、dropout、数据增强和提前停止;诚实地解读双重下降和学习曲线;在验证数据上调整一个模型,并在留出数据上报告它(关卡)。
第 8 模块:训练诊所 I
你将能够:在任何一次训练上运行最先要做的两项检查;挑选能把可能的故障区分开的探针;在预算之内(关卡)用一个小改动诊断并修复出问题的训练;依据证据评判一个 AI 助手的诊断。
第 9 模块:它真的更好吗?
你将能够:在没有泄漏的情况下划分数据;使用精确率和召回率;测量不同种子之间的离散程度;给一个分数加上自助法误差线;测量校准;用一个配对区间比较两个模型并做出判断(关卡)。
第 10 模块:会看的网络(CNN)
你将能够:构建卷积、填充、池化以及它们的梯度,还有 im2col;在课程引擎上训练 CNN;读懂跨多个种子记录下来的运行;对照基线检验显著性图;使用迁移学习;在权重预算之内设计一个 CNN(关卡)。
第 11 模块:有记忆的网络(RNN)
你将能够:构建一个 RNN 和一个字符模型;推导随时间的反向传播;测量梯度消失;构建 LSTM 的门;解读被记录的记忆实验和瓶颈实验;用温度进行采样;修复一个出问题的循环模型(关卡)。
第 12 模块:作为数字的单词(嵌入)
你将能够:把嵌入当作一次查找;构建一个合并字符对的分词器;通过计数和通过 skip-gram 制作词向量;测量并去除它们照搬来的一种偏斜;在一个你没见过的世界上独自完成所有这些(关卡)。
第 13 模块:注意力和 transformer
你将能够:构建注意力、因果掩码、多个头、位置、层归一化,以及一个和真实模型完全一致的整块;推导注意力的反向传播;训练一个小 GPT;读懂记录下来的运行;用缓存来生成;把你的引擎对应到 PyTorch 上;修复一个坏掉的 transformer(关卡)。
第 14 模块:训练诊所 II
你将能够:诊断出问题的序列模型,包括看起来很棒的作弊、停滞、步长和采样故障;解读失败的被记录训练;依据证据评判一个 AI 助手;在预算之内独自诊断(关卡);把你的结业考试和你的基线做比较。
第 15 模块:压缩、重建、生成(自编码器与 VAE)
你将能够:把数字压缩成少数几个数字并重建它们;用测量结果说明为什么一个自编码器无法生成新的数字;计算两条钟形曲线之间的 KL 以及 ELBO;以一种可以穿过它训练的方式采样;训练一个能生成新数字的 VAE;在数字之间漫步;独自诊断并修复一个崩塌了的 VAE(关卡)。
第 16 模块:博弈中的两个网络(GAN,选修)
选修模块,获得证书不需要它。你将能够:写出 GAN 的损失,并根据它们的斜率说出饱和损失什么时候会停滞;在八个团块上训练一个 GAN 并评判它的覆盖程度;让模式崩塌发生;在被记录的种子上测试那些稳定化技巧并报告什么有帮助;运行一个卷积生成器;独自拯救一个出问题的 GAN(关卡)。
第 17 模块:噪声进去,图片出来(扩散模型)
你将能够:按照一个计划一步一步地以及一次跳跃地加入噪声;把网络的箭头读回到数据;训练一个噪声预测器;用 DDPM 采样,并说出为什么要裁剪干净的估计;通过测量比较噪声计划和时间输入;构建一个 U-Net;用 DDIM 以更少的步数采样;用无分类器引导来引导样本;微调一个训练好的模型;独自拟合一个新的形状(关卡)。
第 18 模块:没有标签的学习
你将能够:通过最近邻的一致性以及一个你自己编写的线性探针来评判特征;用掩码预测进行预训练;编写 InfoNCE 并说出它为什么就是交叉熵;用 SimCLR 进行预训练,并解读它的数据增强决定了什么;把说明文字和图片匹配起来(选修);独自在模型从未见过的物体上测试特征(关卡)。
第 19 模块:更大,又能好多少(缩放定律)
你将能够:以 FLOPs 计算一次训练的成本;拟合一条带下限的幂律并给出误差线;读出是权重还是数据在限制一次训练;为一个固定的预算规划最佳的模型规模;预测一次更大的训练并检查它;区分一次真实的跃升和一个制造出跃升的指标;独自规划一次训练(关卡)。
第 20 模块:低成本地适配一个训练好的模型
你将能够:展示灾难性遗忘;计数、构建 LoRA 并对它做梯度检查;根据测量选择它的秩;在你自己的文本上微调一个模型而不把它弄坏;说出蒸馏什么时候有帮助;量化权重并预测其代价;用 DPO 调整偏好并及时停下;为一种情况选择一种方法;独自在一个预算之内达到一个适配目标(关卡)。
第 21 模块:观察模型的内部
你将能够:说出关于一个模型内部的证据是一种模式、一种效应还是一种机制;带着一个对照组运行一个探针;修补激活值以找出信息在哪里;去掉部件并检查有没有备份;在你面前的这个模型上检验一个教科书上的机制;在一个玩具中展示叠加;训练一个稀疏自编码器,并在没见过的文本上检验一个特征的标签;从被记录的训练中解读顿悟,并通过去掉它们来检验其中的波;独自在新的输入上找出信息在哪里(关卡)。
第 22 模块:评判各种说法
你将能够:通过重叠找出一个泄漏了的测试集,并报告干净的分数;沿着真正要紧的那一部分拆分一个平均损失;说出置零消融和均值消融有什么不同,并报告所用的方法;用标准误区分一个只靠一个种子得出的差异和一个经过测量的差异;在新的种子上复现一个结果,并找出它不再成立的设置;独自评审一个说法(关卡)。
第 23 模块:毕业项目工作室:一张你可以运行的模型卡
你将能够:用一个 FLOP 预算规划一个项目;在多个种子上预测并运行一个基线;用误差线评判各种改动;通过梯度检查找出一个仍然能训练的缺陷;对照一个未训练的对照组,在你的模型内部得出一个发现;在一个隐藏的集合上带着误差线评估一次;写一张每一个数字都和你的运行日志相符的模型卡;导出一个其中的训练可以重放的离线文件。
第 24 模块:期末考试与复测
你将能够:在关闭 AI 的情况下,展示第 2 部分在全部四个刻度盘上教会了你什么(C 卷);比较你从起跑线到第 2 部分结束时的刻度盘;一个月之后检查留下了什么(D 卷,选修)。
只有你能打印或保存这些。链接保存在这个浏览器里。要给别人看,请分享证书上的验证链接。