自分の文章で GPT をファインチューニングする
なぜ大切か これが日常の使い方です:一般的なモデル、あなたの文章、安いアダプター。試験は、それがあなたの文章を学び、残りを保ったかです。
自分の文章を my_text に入れてください:メモ、エッセイ、書いたコード、少なくとも 5,000 文字(既定は、レッスンがそのまま走るよう Python の答えの切れ端)。モデルが一度も見たことのない文字は落とされます。最後の 20% は試すために取り分けられます。
ランク 8 の LoRA を、8 つの窓の 60 ステップ訓練します。文章の取り分けた部分が元のモデルより少なくとも 0.3 良い点数になり、英語の損失の上がりが 0.5 未満なら合格です。目安として、既定の文章では:LoRA は英語を約 0.29、完全なファインチューニングは約 0.69 上げ、どちらも文章をほぼ同じくらいよく学びます。
このレッスンの言葉と記号
- ファインチューニング
- 訓練したモデルを新しいデータで訓練し続けること
- LoRA
- 低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
- ランク(r)
- LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
base_scores と tuned_scores を埋めてください:LoRA のモデルを訓練する前とあとの (英語の損失, 文章の取り分けた 20% での損失)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。