第 10 模块:会看的网络(CNN)
更少的比特:float32、float16 和损失缩放
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 用更少比特存储的数字移动起来更快,占用一半的内存,所以大模型都用 16 位数字来训练和发布。但 16 位会以两种你必须了解的方式出问题。
- 上溢:float16 装不下任何大于 65,504 的数。更大的值会变成无穷大,然后 nan 就会在训练中扩散开。
- 下溢:float16 也装不下非常小的值;任何小于大约 3e-8 的数都会舍入成恰好为 0。小的梯度会消失。
损失缩放
在反向传播之前把损失乘以一个大数 S(比如 1,024),这样每一个梯度都会大 S 倍,保持在下溢线之上。转换成 float16,然后在更新之前再在 float32 中除以 S。梯度就保住了。
课程自己记录的检查点正是出于这个原因用 float16 存储的:大小只有一半。
如今大多数大模型用第三种格式训练,也就是 bfloat16:和 float16 一样是 16 位,但它保留了 float32 的范围(最高大约 3e38),转而放弃了精度(大约 3 位有效数字)。上溢和下溢基本上不再是问题,所以用它时很少需要损失缩放;代价是舍入,这就是为什么权重和更新仍然保存在 float32 中。
本课中的词语和符号
- float16
- 16 位数字:内存减半,超过 65,504 会上溢,非常小的值会变成 0
- RECORDED(已记录)
- 课程训练过一次、交给你研究的一次真实运行
轮到你了
编写 to_f16(g)(转换成 float16 再转回 float32)和 scaled_to_f16(g, S)(乘以 S,转换,转回来,除以 S)。把 lost_plain 和 lost_scaled 设为给定的小梯度中,以每种方式处理后恰好变成零的比例。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。