Silabus Pelajaran 203 dari 250 · Fine-Tuning, Secara Konsep
Fine-Tuning, Secara Konsep

Pembagian Train/Val yang Deterministik

Setelah dataset kamu bersih, kamu harus membaginya: sebagian besar baris masuk ke train (apa yang dipelajari model) dan sebagian kecil yang disimpan masuk ke validation (apa yang kamu gunakan untuk penilaian). Set yang disimpan itu sakral. Jika ada contoh yang bocor ke kedua bagian, angka validasi kamu adalah bohong, karena model diuji pada sesuatu yang sudah dilatihinya. Jadi pembagiannya harus partisi yang bersih: tidak ada tumpang tindih, tidak ada yang hilang.

Ini juga harus bisa direproduksi. "Skornya 0.81" tidak ada artinya jika menjalankan ulang script mengubah urutan menjadi split yang berbeda dan menghasilkan 0.79. Solusinya sama dengan yang kamu gunakan di mana pun ada keacakan dalam ML: beri seed pada generator. Seed yang sama selalu menghasilkan split yang sama, jadi eksperimenmu bisa diulang dan rekan tim bisa mereproduksi angka tepatmu.

Catatan kita mengacak indices, bukan barisnya sendiri, dan kita mengirim seed eksplisit ke generator privat alih-alih menyentuh yang global:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

Gunakan random.Random(seed) (generator baru yang terisolasi), bukan random.seed(...) pada modul global, supaya memanggil fungsi kamu tidak mengubah keacakan di bagian lain program secara diam-diam.

Buat split_dataset(rows, val_frac, seed) yang mengembalikan {"train": [...], "val": [...]} di mana:

  • ukuran validasi adalah int(round(len(rows) * val_frac)), dan train adalah sisanya;
  • train dan val adalah disjoint dan bersama-sama berisi setiap baris asli tepat satu kali;
  • seed yang SAMA selalu menghasilkan split yang SAMA, dan seed yang berbeda umumnya menghasilkan yang berbeda.

Persiapan deterministik ini adalah segalanya yang dibutuhkan oleh jalannya GPU. Pelatihan sebenarnya (LoRA adapters, an optimizer, a loss curve) terjadi pada perangkat keras yang tidak dimiliki sandbox ini. Tekan Run untuk membagi sebuah list dan konfirmasi bahwa dua bagian tersebut membentuk kembali keseluruhannya.

Giliranku

Tulis split_dataset(rows, val_frac, seed) yang mengembalikan {"train": [...], "val": [...]}. Acak daftar indeks dengan random.Random(seed) (bukan RNG global), ambil int(round(len(rows) * val_frac)) pertama sebagai validasi dan sisanya sebagai train. Kedua bagian harus terpisah, harus berisi setiap baris asli tepat satu kali secara bersamaan, dan harus bisa direproduksi untuk seed tertentu.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.