シラバス レッスン 246 中 214 · モジュール 20:訓練したモデルを安く適応させる
モジュール 20:訓練したモデルを安く適応させる

より小さな重み(量子化)

なぜ大切か モデルは数として保存され走らせられ、ほとんどの数に 32 ビットは要りません。それぞれの重みを 8 か 4 ビットで保存すれば、モデルは 4 か 8 倍小さく、しばしば速くなり、それが大きなモデルがノートパソコンや電話に収まる方法です。問いは、その代価です。

最も単純なやり方、それぞれの重みの行列の行ごとに:最大の絶対値を見つけ、0 のそれぞれの側で行を 2^(bits - 1) - 1 の等しい段に分け、どの重みも最も近い段に丸めます。丸めた段(小さな整数)と行ごとにひとつの尺度を保存します。

小さな数

4 ビットでの行 [0.9, -0.3, 0.05]:それぞれの側に 7 段。尺度 0.9 / 7 = 0.129。0.9 -> 7 段 -> 0.9。-0.3 -> -2.33 -> -2 段 -> -0.257。0.05 -> 0.39 -> 0 段 -> 0。小さな重みが消えます。

このレッスンの言葉と記号
量子化
重みをいくつかの段に丸めて、より少ないビットで保存すること
あなたの番

述べたとおりに quantize_row(w, bits) を書いてください。それから my_guess を設定します:8 と 4 ビットで予想する英語の損失の変化。そして adapt.quantize(同じ規則をどの行列にもかける)を使って、8、4、3、2 ビットについて measured を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。