シラバス レッスン 246 中 118 · モジュール 10:見るネットワーク(CNN)
モジュール 10:見るネットワーク(CNN)

少ないビット:float32、float16、損失のスケーリング

なぜ大切か 少ないビットで保存した数は動かすのが速く、メモリは半分で済むので、大きなモデルは 16 ビットの数で訓練され、出されます。でも 16 ビットは、知っておかなければならない 2 つのやり方で壊れます。

  • オーバーフロー:float16 は 65,504 を超えるものを持てない。それより大きな値は無限大になり、それから nan が訓練に広がる。
  • アンダーフロー:float16 はごく小さな値も持てない。約 3e-8 より小さなものはちょうど 0 に丸められる。小さな勾配が消える。

損失のスケーリング

逆向きのたどりの前に損失に大きな数 S(例えば 1,024)を掛けると、どの勾配も S 倍大きくなり、アンダーフローの線より上にとどまります。float16 に変え、それから更新の前に float32 でまた S で割ります。勾配は生き延びます。

コース自身の記録したチェックポイントは、まさにこの理由で float16 で保存されています:半分の大きさです。

今日の大きなモデルの多くは、第 3 の形式 bfloat16 で訓練されます:float16 と同じく 16 ビットですが、float32 の範囲(約 3e38 まで)を保ち、代わりに精度を手放します(有効数字約 3 桁)。オーバーフローとアンダーフローはほぼ問題でなくなるので、それでは損失のスケーリングはめったに要りません。代価は丸めで、だから重みと更新は今も float32 で保たれます。

このレッスンの言葉と記号
float16
16 ビットの数:メモリは半分、65,504 を超えるとオーバーフロー、ごく小さな値は 0 になる
RECORDED(記録)
コースが一度訓練し、学べるように同梱している本物の実行
あなたの番

to_f16(g)(float16 に変えて float32 に戻す)と scaled_to_f16(g, S)(S を掛け、変え、戻し、S で割る)を書いてください。lost_plain と lost_scaled を、与えられた小さな勾配のうち、それぞれのやり方でちょうど 0 になる割合に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。