第 19 模块:更大,又能好多少(缩放定律)
权重、数据,还是计算:是什么在拖它的后腿?
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在错误的东西上花更多的钱,什么都换不来。一个缺乏数据的模型在你把它变大时不会改进;一个很小的模型在你喂给它更多数据时也不会改进。网格同时显示了这两者,如果你知道该往哪里看的话。
沿着网格的一行看(一个宽度,越来越多的数据),再沿着一列往下看(一个数据量,越来越宽的模型)。
当在那个数据量下,让模型变宽几乎没有帮助(甚至有害)时,一次训练就是受数据限制的。当在那个宽度下,更多的数据几乎没有帮助时,它就是受模型限制的。
本课中的词语和符号
- 词元
- 在这里指一次预测:一个字符
- 受数据限制、受模型限制
- 当更多的宽度、或者更多的数据几乎没有帮助时
轮到你了
填写 gain_wider:对于 8,000 个词元和 150 万个词元,从宽度 256 到宽度 1024 的损失下降。填写 gain_more_data:对于宽度 2 和宽度 1024,从 512,000 到 150 万个词元的损失下降。然后为两个角设置 verdict:"data-limited" 或 "model-limited"。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。