课程大纲 第 200 课,共 246 课 · 第 19 模块:更大,又能好多少(缩放定律)
第 19 模块:更大,又能好多少(缩放定律)

猜一猜一个更大的模型

为什么重要 训练一个大型模型要花好几个月和数百万的钱。在任何人花这笔钱之前,他们会根据小规模的训练预测它会有多好。AI 热潮背后令人惊讶的事实是,这种预测通常是有效的。首先,看看你自己的直觉有多准。

这个模块中的模型是小型的字符模型:它们读取 8 个字符并预测下一个。一个数字决定了它们的规模,也就是隐藏层的宽度。课程训练了其中的 150 个(10 种宽度、5 种数据量、每种 3 个种子),用的是课程自己的 150 万个字符的课文,并在 100,000 个它从未见过的字符上测量了每一个的损失。

一个宽度为 128 的模型(24,401 个权重)在 150 万个词元上训练后,达到大约 1.86 的留出损失。这里的一个词元就是一次预测:一个字符。

在你去看之前:一个宽度为 1024 的模型有 7.7 倍的权重。在同样的数据上训练,它会达到什么样的损失?作为参照:把每个字符都预测为等可能的得分是 4.42,而这些模型中最好的能降到 2 以下。

本课中的词语和符号
词元
在这里指一次预测:一个字符
轮到你了

把 my_guess 设为你预测的宽度 1024 在 150 万个词元上的留出损失。然后根据被记录的训练设置 actual(3 个种子的均值),并把 error 设为你偏离了多少(实际值减去猜测值)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。