课程大纲 第 203 课,共 246 课 · 第 19 模块:更大,又能好多少(缩放定律)
第 19 模块:更大,又能好多少(缩放定律)

权重、数据,还是计算:是什么在拖它的后腿?

为什么重要 在错误的东西上花更多的钱,什么都换不来。一个缺乏数据的模型在你把它变大时不会改进;一个很小的模型在你喂给它更多数据时也不会改进。网格同时显示了这两者,如果你知道该往哪里看的话。

沿着网格的一行看(一个宽度,越来越多的数据),再沿着一列往下看(一个数据量,越来越宽的模型)。

当在那个数据量下,让模型变宽几乎没有帮助(甚至有害)时,一次训练就是受数据限制的。当在那个宽度下,更多的数据几乎没有帮助时,它就是受模型限制的。

本课中的词语和符号
词元
在这里指一次预测:一个字符
受数据限制、受模型限制
当更多的宽度、或者更多的数据几乎没有帮助时
轮到你了

填写 gain_wider:对于 8,000 个词元和 150 万个词元,从宽度 256 到宽度 1024 的损失下降。填写 gain_more_data:对于宽度 2 和宽度 1024,从 512,000 到 150 万个词元的损失下降。然后为两个角设置 verdict:"data-limited" 或 "model-limited"。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。