LoRA を作る
なぜ大切か 一度作ると 3 つのことが明らかになります:なぜ害なく始まるか、なぜその勾配が安いか、そしてなぜ元の重みが決して変わらないか。
コースのエンジンの上の LoRA の層:前向きは x W + (alpha / r) x A B で、W は凍結。エンジンは A と B の勾配を自分で割り出します(モジュール 4 のエンジンもそうするでしょう)。W は更新されてはならないだけで、それをあなたが確かめます。
このレッスンの言葉と記号
- LoRA
- 低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
エンジンの操作で lora_forward(x, W, A, B, alpha) を書いてください。それから始めのコードの小さな層で確かめます:B が 0 のあいだ出力は x W に等しい。1 回の逆向きのたどりのあと、W には更新がなく A か B にはある。そして A の勾配は少しの動きと一致する。max_gap を最大の差に設定してください。エンジンは float32 で働くので、h = 1e-3 以上で動かしてください:1e-4 では損失の変化は丸めに埋もれ、正しい勾配が間違って見えます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。