シラバス レッスン 246 中 217 · モジュール 20:訓練したモデルを安く適応させる
モジュール 20:訓練したモデルを安く適応させる

関門:予算のもとでの新しい課題(AI オフ)

なぜ大切か 本物の適応の仕事には、目標、予算、そして壊してはならないものがあります。3 つすべてを一度に、ひとりで。

関門の規則:AI チューターはオフです。記録した GPT を、それぞれ 8 つの窓の多くとも 60 の訓練のステップで Python のコードに適応させてください。新しい実行(新しいシード)での目標:

  • 取り分けたコードの損失が多くとも 2.43(元のものは 3.25)。
  • 取り分けた英語の損失が多くとも 2.00(元のものは 1.70)。

plan を設定してください:手法 "full" か "lora"、ランク(LoRA では 1 から 64)、ステップ、学習率。確認はあなたの計画を新しいシードで一度訓練します。

このレッスンの言葉と記号
LoRA
低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
ランク(r)
LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
あなたの番

plan を埋めてください。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。