指示チューニング用データセットを選別する
このモジュールにできることとできないことについて、正直に話しましょう。モデルのファインチューニングは GPU の仕事です。ベースモデルを用意し、何千もの例の組を見せ、勾配降下法を回して重みを少しずつ動かします。それには学習ループ、GPU、そして何時間もの計算が必要です。そのどれもこのブラウザの砂場では動きません(torch も GPU もネットワークもありません)。だから、そうでないふりはしません。
代わりに必ず教えるのは、AI エンジニアが実際にいちばん時間を使う部分であり、高価な GPU の実行が何か良いものを生むかどうかを決める部分です:データセットです。この分野の有名な結果(LIMA、「Less Is More for Alignment」)は、注意深く選別した約 1,000 件の例が、はるかに大きな雑音だらけの山に勝つことを示しました。ゴミを入れればゴミが出てくる、はここではスローガンではなく、勝負のすべてです。GPU に食べさせるデータセットを作るのはあなたです。
指示チューニングのレコードは、ただの小さな辞書です。よくある形は、instruction(ユーザーが頼むこと)、省略可能な input(追加の文脈)、そして手本となる output(良いモデルが返すべきもの)です:
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}これがトレーナーに届く前に、きれいにしなければなりません。本物のエクスポートには、output が欠けた行、空白だけの空っぽの instruction、文字列が期待されるところの間違った型、そして計算を無駄にし、繰り返された例のほうへモデルを偏らせるまったくの重複がいっぱいです。あなたの仕事は決定的なフィルターです。
関数を 2 つ作ってください。
validate_pair(example)->exampleが辞書で、そのinstructionとoutputの両方が.strip()したあとも空でない文字列であるときだけTrue。それ以外(キーの欠落、文字列でない、空や空白だけ)はFalseを返します。inputが欠けているのはかまいません。省略可能だからです。clean_dataset(rows)-> 無効な組をすべて落とし、それからまったくの重複(strip したあとで同じinstruction、同じinput、同じoutput)を落とし、最初に出てきたものを残します。{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}を返します。
無効な行は dropped_invalid として数え、有効だが繰り返された行は dropped_duplicate として数えます。数は帳尻が合わなければなりません:input == kept + dropped_invalid + dropped_duplicate。
本物のパイプラインでは、きれいにした行はそのあとトークン化されてトレーナーに流し込まれます。ここではその段階は概念だけですが、あなたのデータセットが流れ込む先の全体像は知っておく価値があります。フルファインチューニングはモデルのすべての重みを更新します:いちばん正確で、いちばん高価で、モデルのまったく新しいコピーを生み出します。LoRA / PEFT(パラメーター効率の良いファインチューニング)はベースモデルを凍結し、その上に乗る小さな低ランクのアダプターだけを学習させるので、実行は GPU 1 台に収まり、1 つの共有ベースにアダプターを差し替えられます。そしてふつうの教師ありファインチューニングの先には選好チューニングがあり、手本の答えではなく人間の好みから口調と安全性を合わせます:DPO(Direct Preference Optimization)は選ばれた答えと退けられた答えの組で直接学習し、古い RLHF/PPO の報酬モデルのループより単純で安定した代わりの方法です。実行を押して小さな汚れたデータセットをきれいにし、統計を出力しましょう。
example が辞書で、その instruction と output の両方が(.strip() したあとも)空でない文字列であるときだけ True を返し、それ以外はすべて False を返す validate_pair(example) を書いてください(input の欠落は許されます)。それから、無効な組とまったくの重複(strip した instruction/input/output が同じもの。最初のものを残す)を落とし、{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} を返す clean_dataset(rows) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。