课程大纲 第 206 课,共 246 课 · 第 19 模块:更大,又能好多少(缩放定律)
第 19 模块:更大,又能好多少(缩放定律)

真实的跃升,还是指标的把戏?

为什么重要 头条新闻说大型模型会在某个规模上突然获得新能力:“涌现”。有时候这种跃升是真实的。而常常是能力一直在平稳地提高,只是指标让它看起来很突然(Schaeffer、Miranda 和 Koyejo,2023)。知道是哪一种,决定了你能否预测它。

网格在同样的留出文本上记录了两种分数:

  • 逐字符准确率 p:模型对下一个字符的首选猜测正确的位置所占的比例。它随着规模平稳上升,在 150 万个词元时从 0.27 到 0.53。
  • 5 个全对:它不出任何错误地写出接下来 5 个字符的位置所占的比例。全有或全无。

如果每个字符都以概率 p 独立地正确,那么连续五个都正确的概率是 p^5。先在网格上检验这一点。然后看看这个指数会对一项均匀提高的能力做什么。这些小模型永远走不到足以显示出完整效果的地方,所以第二部分是一个明确标注的示例,而不是一次测量:一个从 0.5 到 0.95 分十个相等的步子上升的逐字符准确率。

本课中的词语和符号
指数(alpha、beta)
随着权重增多(alpha)或数据增多(beta),损失下降得有多快
词元
在这里指一次预测:一个字符
涌现
一种似乎在某个规模上突然出现的能力;有时是由一个全有或全无的指标制造出来的
轮到你了

填写 pairs:对于 150 万个词元时的每一个宽度,(p, p^5, 测得的 5 个全对)。然后为示例把 all10 设为 p_even 的 p^10,并把 late_share 设为 all10 总上升中发生在 10 步里最后 3 步的那部分所占的比例。最后设置 case。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。