课程大纲 第 118 课,共 246 课 · 第 10 模块:会看的网络(CNN)
第 10 模块:会看的网络(CNN)

更少的比特:float32、float16 和损失缩放

为什么重要 用更少比特存储的数字移动起来更快,占用一半的内存,所以大模型都用 16 位数字来训练和发布。但 16 位会以两种你必须了解的方式出问题。

  • 上溢:float16 装不下任何大于 65,504 的数。更大的值会变成无穷大,然后 nan 就会在训练中扩散开。
  • 下溢:float16 也装不下非常小的值;任何小于大约 3e-8 的数都会舍入成恰好为 0。小的梯度会消失。

损失缩放

在反向传播之前把损失乘以一个大数 S(比如 1,024),这样每一个梯度都会大 S 倍,保持在下溢线之上。转换成 float16,然后在更新之前再在 float32 中除以 S。梯度就保住了。

课程自己记录的检查点正是出于这个原因用 float16 存储的:大小只有一半。

如今大多数大模型用第三种格式训练,也就是 bfloat16:和 float16 一样是 16 位,但它保留了 float32 的范围(最高大约 3e38),转而放弃了精度(大约 3 位有效数字)。上溢和下溢基本上不再是问题,所以用它时很少需要损失缩放;代价是舍入,这就是为什么权重和更新仍然保存在 float32 中。

本课中的词语和符号
float16
16 位数字:内存减半,超过 65,504 会上溢,非常小的值会变成 0
RECORDED(已记录)
课程训练过一次、交给你研究的一次真实运行
轮到你了

编写 to_f16(g)(转换成 float16 再转回 float32)和 scaled_to_f16(g, S)(乘以 S,转换,转回来,除以 S)。把 lost_plain 和 lost_scaled 设为给定的小梯度中,以每种方式处理后恰好变成零的比例。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。