より小さな重み(量子化)
なぜ大切か モデルは数として保存され走らせられ、ほとんどの数に 32 ビットは要りません。それぞれの重みを 8 か 4 ビットで保存すれば、モデルは 4 か 8 倍小さく、しばしば速くなり、それが大きなモデルがノートパソコンや電話に収まる方法です。問いは、その代価です。
最も単純なやり方、それぞれの重みの行列の行ごとに:最大の絶対値を見つけ、0 のそれぞれの側で行を 2^(bits - 1) - 1 の等しい段に分け、どの重みも最も近い段に丸めます。丸めた段(小さな整数)と行ごとにひとつの尺度を保存します。
小さな数
4 ビットでの行 [0.9, -0.3, 0.05]:それぞれの側に 7 段。尺度 0.9 / 7 = 0.129。0.9 -> 7 段 -> 0.9。-0.3 -> -2.33 -> -2 段 -> -0.257。0.05 -> 0.39 -> 0 段 -> 0。小さな重みが消えます。
このレッスンの言葉と記号
- 量子化
- 重みをいくつかの段に丸めて、より少ないビットで保存すること
述べたとおりに quantize_row(w, bits) を書いてください。それから my_guess を設定します:8 と 4 ビットで予想する英語の損失の変化。そして adapt.quantize(同じ規則をどの行列にもかける)を使って、8、4、3、2 ビットについて measured を埋めてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。