シラバス レッスン 246 中 212 · モジュール 20:訓練したモデルを安く適応させる
モジュール 20:訓練したモデルを安く適応させる

自分の文章で GPT をファインチューニングする

なぜ大切か これが日常の使い方です:一般的なモデル、あなたの文章、安いアダプター。試験は、それがあなたの文章を学び、残りを保ったかです。

自分の文章を my_text に入れてください:メモ、エッセイ、書いたコード、少なくとも 5,000 文字(既定は、レッスンがそのまま走るよう Python の答えの切れ端)。モデルが一度も見たことのない文字は落とされます。最後の 20% は試すために取り分けられます。

ランク 8 の LoRA を、8 つの窓の 60 ステップ訓練します。文章の取り分けた部分が元のモデルより少なくとも 0.3 良い点数になり、英語の損失の上がりが 0.5 未満なら合格です。目安として、既定の文章では:LoRA は英語を約 0.29、完全なファインチューニングは約 0.69 上げ、どちらも文章をほぼ同じくらいよく学びます。

このレッスンの言葉と記号
ファインチューニング
訓練したモデルを新しいデータで訓練し続けること
LoRA
低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
ランク(r)
LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
あなたの番

base_scores と tuned_scores を埋めてください:LoRA のモデルを訓練する前とあとの (英語の損失, 文章の取り分けた 20% での損失)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。