Kurrikulum Leson 203 van 250 · Fyn-afstemming, Konsepueel
Fyn-afstemming, Konsepueel

Deterministiese Trein/Val-verdeling

Sodra jou dataset skoon is moet jy dit verdeel: die meeste rye gaan na train (waarvollens die model leer) en 'n uitgesonderde gedeelte gaan na validation (waarop jy dit tel). Die uitgesondere stel is heilig. As 'n voorbeeld in beide helfte lek, is jou validasienommer 'n leuen, want die model is getoets op iets waarop dit getoëi het. Die verdeling moet dus 'n skoon partisie wees: geen oorklapping, niks wat verlore gaan nie.

Dit moet ook reproduseerbaar wees. "Dit het 0.81 geskop" is betekenisloos as die skrip weer uitvoer en na 'n ander opsplitting herskak en 0.79 gee. Die regstelling is dieselfde een wat jy oral gebruik waar randomheid in ML verskyn: seed die generator. Dieselfde seed produseer altyd dieselfde opsplitting, so jou eksperiment is herhaalbaar en 'n spanmaat kan jou presiese syfers reproduceer.

Let wel dat ons indices skuif, nie die rye self nie, en dat ons 'n eksplisiete seed na 'n private generator stuur in plaas daarvan om die globale een aan te raak:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

Gebruik random.Random(seed) ( 'n vars, geïsoleerde generator), nie random.seed(...) op die globale module nie, sodat die aanroep van jou funksie nie stilweg willekeleheid elders in 'n program verander nie.

Bou split_dataset(rows, val_frac, seed) wat {"train": [...], "val": [...]} teruggee waar:

  • die validasiegrootte is int(round(len(rows) * val_frac)), en train is die res;
  • train en val is disjunct en bevat saam elke oorspronklike ry presies een keer;
  • diedeURDE seed lewer altyd die DEURDE split op, en 'n ander seed lewer gewoonlik 'n ander een op.

Hierdie deterministiese voorbereiding is alles waarop die GPU-aanloop staat. Die werklike opleiding (LoRA adapters, 'n optimizer, 'n loss curve) gebeur op hardeware wat hierdie sandbox nie het nie. Druk Run om 'n lys te verdeel en bevestig dat die twee helfte die geheel herstel.

Jou beurt

Skryf split_dataset(rows, val_frac, seed) wat {"train": [...], "val": [...]} teruggee. Roer 'n lys van indekse met random.Random(seed) (nie die globale RNG nie), neem die eerste int(round(len(rows) * val_frac)) as validasie en die res as train. Die twee helfte moet disjunks wees, moet saam elke oorspronklike ry presies een keer bevat, en moet herhaalbaar wees vir 'n gegewe seed.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.