第 19 模块:更大,又能好多少(缩放定律)
猜一猜一个更大的模型
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 训练一个大型模型要花好几个月和数百万的钱。在任何人花这笔钱之前,他们会根据小规模的训练预测它会有多好。AI 热潮背后令人惊讶的事实是,这种预测通常是有效的。首先,看看你自己的直觉有多准。
这个模块中的模型是小型的字符模型:它们读取 8 个字符并预测下一个。一个数字决定了它们的规模,也就是隐藏层的宽度。课程训练了其中的 150 个(10 种宽度、5 种数据量、每种 3 个种子),用的是课程自己的 150 万个字符的课文,并在 100,000 个它从未见过的字符上测量了每一个的损失。
一个宽度为 128 的模型(24,401 个权重)在 150 万个词元上训练后,达到大约 1.86 的留出损失。这里的一个词元就是一次预测:一个字符。
在你去看之前:一个宽度为 1024 的模型有 7.7 倍的权重。在同样的数据上训练,它会达到什么样的损失?作为参照:把每个字符都预测为等可能的得分是 4.42,而这些模型中最好的能降到 2 以下。
本课中的词语和符号
- 词元
- 在这里指一次预测:一个字符
轮到你了
把 my_guess 设为你预测的宽度 1024 在 150 万个词元上的留出损失。然后根据被记录的训练设置 actual(3 个种子的均值),并把 error 设为你偏离了多少(实际值减去猜测值)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。