更宽的模型想要更小的步子
为什么重要 对小模型有效的学习率,可能会毁掉一个更大的模型。训练大模型的团队要花真金白银才能发现这一点;你可以从记录下来的运行中读出来。
记录下来的 gpt-width-lr 实验在宽度 32、64 和 128 上训练了这个小 GPT,每种宽度都用学习率 0.001、0.003 和 0.01,训练 2,000 步,每种都用三个种子,并在最后测量留出文本上的损失。
看之前先预测:对于最宽的模型 128,哪一个学习率最好?
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
把 my_guess 设为 0.001、0.003 或 0.01 之一,然后填写 mean_loss:把 (width, lr) 映射到三个种子最终留出损失的平均值(exp.seeds(d=..., lr=...) 给出三次运行;每次运行的最终留出损失是 run.val_loss[-1][1])。然后填写 best_lr:把宽度映射到平均值最低的那个学习率。
然后用第 9 模块的噪声规则说出哪些设置真的有差别。每种设置有三个种子时,两个平均值只有在差距大于大约 2 × s × sqrt(2/3) 时才算真的不同,其中 s 是两种设置的种子离散程度中较大的那个(三个值的 np.std)。任何更接近的都算平手。
设置 ties:把宽度映射到和该宽度最佳值打成平手的学习率列表(包括最佳的那个)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。