第 19 模块:更大,又能好多少(缩放定律)
真实的跃升,还是指标的把戏?
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 头条新闻说大型模型会在某个规模上突然获得新能力:“涌现”。有时候这种跃升是真实的。而常常是能力一直在平稳地提高,只是指标让它看起来很突然(Schaeffer、Miranda 和 Koyejo,2023)。知道是哪一种,决定了你能否预测它。
网格在同样的留出文本上记录了两种分数:
- 逐字符准确率 p:模型对下一个字符的首选猜测正确的位置所占的比例。它随着规模平稳上升,在 150 万个词元时从 0.27 到 0.53。
- 5 个全对:它不出任何错误地写出接下来 5 个字符的位置所占的比例。全有或全无。
如果每个字符都以概率 p 独立地正确,那么连续五个都正确的概率是 p^5。先在网格上检验这一点。然后看看这个指数会对一项均匀提高的能力做什么。这些小模型永远走不到足以显示出完整效果的地方,所以第二部分是一个明确标注的示例,而不是一次测量:一个从 0.5 到 0.95 分十个相等的步子上升的逐字符准确率。
本课中的词语和符号
- 指数(alpha、beta)
- 随着权重增多(alpha)或数据增多(beta),损失下降得有多快
- 词元
- 在这里指一次预测:一个字符
- 涌现
- 一种似乎在某个规模上突然出现的能力;有时是由一个全有或全无的指标制造出来的
轮到你了
填写 pairs:对于 150 万个词元时的每一个宽度,(p, p^5, 测得的 5 个全对)。然后为示例把 all10 设为 p_even 的 p^10,并把 late_share 设为 all10 总上升中发生在 10 步里最后 3 步的那部分所占的比例。最后设置 case。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。