メモリの使用量:4 ビットと 16 ビット
モデルがそもそもあなたのハードウェアに収まるかどうかを決める算数と、「量子化」されたモデルがどこにでもある理由がこれです。モデルの重みはただの数で、各数は精度に応じたバイト数を占めます。使用量は単純です:
bytes = params * bits_per_param / 8
# (8 bits per byte)学習や完全な精度での推論では、16 ビットの浮動小数点数(各 2 バイト)がよく使われます。ノートパソコンやスマートフォンでモデルを動かすには、それを量子化します:各重みをより少ないビットで保存するのです。4 ビットの量子化は、4 ビットが 16 ビットの 4 分の 1 なので、4 分の 1 のバイト数で済みます。パラメーター数は同じで、メモリは 4 分の 1 です。
70 億パラメーターのモデルで計算してみましょう:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)これが、大きな GPU を必要とするモデルと、ノートパソコンで動くモデルの違いです。デバイス上のアシスタント(このコースの AI チューターを動かしているもののような)が 4 ビットのモデルを使っているのは、まさにこのためです:品質のコストは小さく、メモリと帯域幅の得は莫大です。これはまた、パラメーター効率の良いファインチューニング(LoRA)が魅力的な理由でもあります。凍結された、量子化されているかもしれないベースの上に、小さなアダプターの重みを少し保存して配るだけで済むのです。
単純な式が見落としているもの。この式は重みだけを数えているので、下限として扱いましょう。本物の 4 ビットの形式では、重みの小さなグループごとにスケールも保存するので、1 つの重みあたりおよそ 4.5 から 5 ビットになります(7B のモデルは 3.26 より 4 GiB に近くなります)。モデルを動かすには、文脈の長さとともに大きくなる KV キャッシュのための場所も必要です。そして学習には重みよりはるかに多くが必要です:Adam オプティマイザーを使ったフルファインチューニングでは、重みごとに勾配と 2 つのオプティマイザーの状態を持つので、混合精度でパラメーターあたりおよそ 16 バイト、7B のモデルなら活性化を除いてもおよそ 100 GiB になります。その差こそ、LoRA と量子化したファインチューニングが存在する本当の理由です。
使用量は GiB(ギビバイト)で報告し、バイト数を 1024 ** 3 で割ります。以下の関係が正確に成り立つように、丸めずに正確な float のままにしておきましょう。
関数を 2 つ作ってください。
model_memory(params, bits_per_param)-> 使用量を GiB の float で:params * bits_per_param / 8 / (1024 ** 3)。quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}。before_gbとafter_gbは 2 つの使用量で、ratioはfrom_bits / to_bits(量子化したモデルが何倍小さいか)です。
算数は本物で採点できますが、それが可能にする GPU の学習はこの砂場では実行できません。実行を押して、7B のモデルのいくつかの精度での使用量を出力しましょう。
使用量を GiB の float で返す model_memory(params, bits_per_param)(params * bits_per_param / 8 / (1024 ** 3))と、2 つの使用量を model_memory から求め、ratio を from_bits / to_bits として {"before_gb", "after_gb", "ratio"} を返す quantization_savings(params, from_bits, to_bits) を書いてください。丸めないでください。4 ビットがちょうど 16 ビットの 4 分の 1 になるように、正確な float のままにします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。