シラバス レッスン 250 中 203 · ファインチューニングを概念で理解する
ファインチューニングを概念で理解する

決定的な学習用と検証用の分割

データセットがきれいになったら、分割しなければなりません:ほとんどの行は学習用(モデルが学ぶもの)に行き、取っておいた一部は検証用(モデルを採点するもの)に行きます。取っておいたデータは神聖です。ある例が両方に漏れていると、検証の数字はうそになります。モデルが学習したものでテストされたことになるからです。だから分割はきれいな分け方でなければなりません:重なりなし、失われるものなし。

さらに再現できるものでなければなりません。スクリプトを実行し直すと別の分割にシャッフルされて 0.79 になるなら、「0.81 を取った」は意味がありません。直し方は、機械学習でランダム性が出てくるところならどこでも使うのと同じです:生成器に seed を設定するのです。同じ seed なら必ず同じ分割になるので、実験は繰り返せ、チームメイトはあなたの数字をそっくり再現できます。

シャッフルするのは行そのものではなくインデックスであること、そしてグローバルな生成器に触れる代わりに、プライベートな生成器に明示的な seed を渡すことに注意しましょう:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

関数を呼んでもプログラムのほかの場所のランダム性がこっそり変わらないように、グローバルなモジュールに対する random.seed(...) ではなく、random.Random(seed)(新しく、隔離された生成器)を使います。

次を満たす {"train": [...], "val": [...]} を返す split_dataset(rows, val_frac, seed) を作ってください:

  • 検証用の大きさは int(round(len(rows) * val_frac)) で、学習用は残り。
  • 学習用と検証用は互いに素で、合わせると元のすべての行をちょうど 1 回ずつ含む。
  • 同じ seed なら必ず同じ分割になり、違う seed なら一般に違う分割になる。

この決定的な準備こそ、GPU の実行が頼りにするすべてです。実際の学習(LoRA のアダプター、オプティマイザー、損失曲線)は、この砂場にはないハードウェアの上で行われます。実行を押してリストを分割し、2 つの半分を合わせると全体が組み立て直せることを確かめましょう。

あなたの番

{"train": [...], "val": [...]} を返す split_dataset(rows, val_frac, seed) を書いてください。インデックスのリストを(グローバルな RNG ではなく)random.Random(seed) でシャッフルし、最初の int(round(len(rows) * val_frac)) 個を検証用、残りを学習用にします。2 つの半分は互いに素で、合わせると元のすべての行をちょうど 1 回ずつ含み、与えられた seed について再現できなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。