モジュール 20:訓練したモデルを安く適応させる
関門:予算のもとでの新しい課題(AI オフ)
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 本物の適応の仕事には、目標、予算、そして壊してはならないものがあります。3 つすべてを一度に、ひとりで。
関門の規則:AI チューターはオフです。記録した GPT を、それぞれ 8 つの窓の多くとも 60 の訓練のステップで Python のコードに適応させてください。新しい実行(新しいシード)での目標:
- 取り分けたコードの損失が多くとも 2.43(元のものは 3.25)。
- 取り分けた英語の損失が多くとも 2.00(元のものは 1.70)。
plan を設定してください:手法 "full" か "lora"、ランク(LoRA では 1 から 64)、ステップ、学習率。確認はあなたの計画を新しいシードで一度訓練します。
このレッスンの言葉と記号
- LoRA
- 低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
- ランク(r)
- LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
あなたの番
plan を埋めてください。
AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。