Deterministiese Trein/Val-verdeling
Sodra jou dataset skoon is moet jy dit verdeel: die meeste rye gaan na train (waarvollens die model leer) en 'n uitgesonderde gedeelte gaan na validation (waarop jy dit tel). Die uitgesondere stel is heilig. As 'n voorbeeld in beide helfte lek, is jou validasienommer 'n leuen, want die model is getoets op iets waarop dit getoëi het. Die verdeling moet dus 'n skoon partisie wees: geen oorklapping, niks wat verlore gaan nie.
Dit moet ook reproduseerbaar wees. "Dit het 0.81 geskop" is betekenisloos as die skrip weer uitvoer en na 'n ander opsplitting herskak en 0.79 gee. Die regstelling is dieselfde een wat jy oral gebruik waar randomheid in ML verskyn: seed die generator. Dieselfde seed produseer altyd dieselfde opsplitting, so jou eksperiment is herhaalbaar en 'n spanmaat kan jou presiese syfers reproduceer.
Let wel dat ons indices skuif, nie die rye self nie, en dat ons 'n eksplisiete seed na 'n private generator stuur in plaas daarvan om die globale een aan te raak:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...Gebruik random.Random(seed) ( 'n vars, geïsoleerde generator), nie random.seed(...) op die globale module nie, sodat die aanroep van jou funksie nie stilweg willekeleheid elders in 'n program verander nie.
Bou split_dataset(rows, val_frac, seed) wat {"train": [...], "val": [...]} teruggee waar:
- die validasiegrootte is
int(round(len(rows) * val_frac)), en train is die res; - train en val is disjunct en bevat saam elke oorspronklike ry presies een keer;
- diedeURDE seed lewer altyd die DEURDE split op, en 'n ander seed lewer gewoonlik 'n ander een op.
Hierdie deterministiese voorbereiding is alles waarop die GPU-aanloop staat. Die werklike opleiding (LoRA adapters, 'n optimizer, 'n loss curve) gebeur op hardeware wat hierdie sandbox nie het nie. Druk Run om 'n lys te verdeel en bevestig dat die twee helfte die geheel herstel.
Skryf split_dataset(rows, val_frac, seed) wat {"train": [...], "val": [...]} teruggee. Roer 'n lys van indekse met random.Random(seed) (nie die globale RNG nie), neem die eerste int(round(len(rows) * val_frac)) as validasie en die res as train. Die twee helfte moet disjunks wees, moet saam elke oorspronklike ry presies een keer bevat, en moet herhaalbaar wees vir 'n gegewe seed.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.