Une séparation déterministe entre entraînement et validation
Une fois ton jeu de données propre, il faut le séparer : la plupart des lignes vont à l'entraînement (ce dont le modèle apprend) et une tranche mise de côté va à la validation (ce sur quoi tu le notes). L'ensemble mis de côté est sacré. Si un exemple fuit dans les deux moitiés, ton chiffre de validation est un mensonge, parce que le modèle a été testé sur quelque chose sur lequel il s'est entraîné. La séparation doit donc être une partition propre : aucun recouvrement, rien de perdu.
Elle doit aussi être reproductible. « Il a obtenu 0.81 » ne veut rien dire si relancer le script mélange autrement, donne une autre séparation et 0.79. La solution est la même que partout où l'aléatoire apparaît en apprentissage automatique : fixer la graine du générateur. La même graine produit toujours la même séparation, donc ton expérience est répétable et un collègue peut reproduire exactement tes chiffres.
Remarque qu'on mélange les indices, pas les lignes elles-mêmes, et qu'on passe une graine explicite à un générateur privé au lieu de toucher au générateur global :
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...Utilise random.Random(seed) (un générateur neuf et isolé), pas random.seed(...) sur le module global, pour qu'appeler ta fonction ne change pas en silence l'aléatoire ailleurs dans un programme.
Construis split_dataset(rows, val_frac, seed) qui renvoie {"train": [...], "val": [...]}, où :
- la taille de la validation vaut
int(round(len(rows) * val_frac)), et l'entraînement prend le reste ; - train et val sont disjoints et contiennent ensemble chaque ligne d'origine exactement une fois ;
- la MÊME graine donne toujours la MÊME séparation, et une autre graine en donne en général une autre.
Toute la suite sur GPU dépend de cette préparation déterministe. Le vrai entraînement (adaptateurs LoRA, un optimiseur, une courbe de perte) se fait sur du matériel que ce bac à sable n'a pas. Appuie sur Run pour séparer une liste et vérifier que les deux moitiés reconstituent le tout.
Écris split_dataset(rows, val_frac, seed) qui renvoie {"train": [...], "val": [...]}. Mélange une liste d'indices avec random.Random(seed) (pas le générateur global), prends les int(round(len(rows) * val_frac)) premiers pour la validation et le reste pour l'entraînement. Les deux moitiés doivent être disjointes, contenir ensemble chaque ligne d'origine exactement une fois, et être reproductibles pour une graine donnée.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.