少ないビット:float32、float16、損失のスケーリング
なぜ大切か 少ないビットで保存した数は動かすのが速く、メモリは半分で済むので、大きなモデルは 16 ビットの数で訓練され、出されます。でも 16 ビットは、知っておかなければならない 2 つのやり方で壊れます。
- オーバーフロー:float16 は 65,504 を超えるものを持てない。それより大きな値は無限大になり、それから nan が訓練に広がる。
- アンダーフロー:float16 はごく小さな値も持てない。約 3e-8 より小さなものはちょうど 0 に丸められる。小さな勾配が消える。
損失のスケーリング
逆向きのたどりの前に損失に大きな数 S(例えば 1,024)を掛けると、どの勾配も S 倍大きくなり、アンダーフローの線より上にとどまります。float16 に変え、それから更新の前に float32 でまた S で割ります。勾配は生き延びます。
コース自身の記録したチェックポイントは、まさにこの理由で float16 で保存されています:半分の大きさです。
今日の大きなモデルの多くは、第 3 の形式 bfloat16 で訓練されます:float16 と同じく 16 ビットですが、float32 の範囲(約 3e38 まで)を保ち、代わりに精度を手放します(有効数字約 3 桁)。オーバーフローとアンダーフローはほぼ問題でなくなるので、それでは損失のスケーリングはめったに要りません。代価は丸めで、だから重みと更新は今も float32 で保たれます。
このレッスンの言葉と記号
- float16
- 16 ビットの数:メモリは半分、65,504 を超えるとオーバーフロー、ごく小さな値は 0 になる
- RECORDED(記録)
- コースが一度訓練し、学べるように同梱している本物の実行
to_f16(g)(float16 に変えて float32 に戻す)と scaled_to_f16(g, S)(S を掛け、変え、戻し、S で割る)を書いてください。lost_plain と lost_scaled を、与えられた小さな勾配のうち、それぞれのやり方でちょうど 0 になる割合に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。