シラバス レッスン 246 中 209 · モジュール 20:訓練したモデルを安く適応させる
モジュール 20:訓練したモデルを安く適応させる

大きな凍った行列足す 2 つの細いもの(見てみる)

なぜ大切か LoRA(Hu ら 2021)は、今日ほとんどのモデルが特注される方法です。重みのごく一部を訓練し、元のものに手をつけないからです。その考えは 1 枚の絵に収まります。

d_in × d_out の重みの行列 W を取ります。それを凍らせます。その隣に、小さな ランク r を持つ 2 つの細い訓練できる行列を置きます:A(d_in × r)と B(r × d_out)。層は次を計算します

x W + (alpha / r) x A B

A B は完全な d_in × d_out の行列、W への変更ですが、(d_in + d_out) x r の数だけから作られます。B は 0 で始まるので、最初はモデルは元のものとちょうど同じです。

GPT はその 2 つのブロックのそれぞれに 4 つの重みの行列を持ちます:qkv(64 × 192)、o(64 × 64)、w1(64 × 256)、w2(256 × 64)。場面を見て、それから数えてください。

このレッスンの言葉と記号
LoRA
低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
ランク(r)
LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
あなたの番

lora_weights(shapes, r) を書いてください:(d_in, d_out) の形のリストについて、ランク r で LoRA が加える訓練できる重みの数。shapes を GPT の 8 つの対象の行列で埋め、それからランク 1、4、16、64 について counts を、そして overtakes を設定します:LoRA がモデル全体(107,072)より多くの重みを訓練する、それらのランクのうち最小のもの。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。