课程大纲 第 154 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

更宽的模型想要更小的步子

为什么重要 对小模型有效的学习率,可能会毁掉一个更大的模型。训练大模型的团队要花真金白银才能发现这一点;你可以从记录下来的运行中读出来。

记录下来的 gpt-width-lr 实验在宽度 32、64 和 128 上训练了这个小 GPT,每种宽度都用学习率 0.001、0.003 和 0.01,训练 2,000 步,每种都用三个种子,并在最后测量留出文本上的损失。

看之前先预测:对于最宽的模型 128,哪一个学习率最好?

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
轮到你了

把 my_guess 设为 0.001、0.003 或 0.01 之一,然后填写 mean_loss:把 (width, lr) 映射到三个种子最终留出损失的平均值(exp.seeds(d=..., lr=...) 给出三次运行;每次运行的最终留出损失是 run.val_loss[-1][1])。然后填写 best_lr:把宽度映射到平均值最低的那个学习率。

然后用第 9 模块的噪声规则说出哪些设置真的有差别。每种设置有三个种子时,两个平均值只有在差距大于大约 2 × s × sqrt(2/3) 时才算真的不同,其中 s 是两种设置的种子离散程度中较大的那个(三个值的 np.std)。任何更接近的都算平手。

设置 ties:把宽度映射到和该宽度最佳值打成平手的学习率列表(包括最佳的那个)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。