どれだけ細ければ十分か?(ランク)
なぜ大切か ランクは LoRA のただひとつの本当の設定です。細すぎれば新しい課題を学べず、ある点を過ぎると、ランクを増やしてもほとんど何も買えません。その点がどこにあるかは、代価を払う前に予測する価値があります。
コースはコードの上で LoRA をランク 1 から 64 で、そして完全なファインチューニングを、それぞれ 3 つのシード、200 ステップで訓練しました(adapt.recorded())。それぞれの行は、ランク、訓練できる重み、コードの損失(新しい)、英語の損失(古い)を持ちます。
曲線を当てる
それを読む前に、ランク 1、4、16、64 でのコードの損失を予想してください。目安:訓練の前は 3.25。完全なファインチューニングは約 2.19。
このレッスンの言葉と記号
- ファインチューニング
- 訓練したモデルを新しいデータで訓練し続けること
- LoRA
- 低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
- ランク(r)
- LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
my_guess(4 つのコードの損失)を埋め、それから by_rank を埋めてください:ランク 1、4、16、64 と "full" について、3 つのシードの上の平均のコードの損失と平均の英語の損失。ランク 16 から 64 への得が、1 から 4 への得の 4 分の 1 未満なら、diminishing を True に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。