Programme Leçon 238 sur 246 · Module 23 : Atelier final : une fiche de modèle exécutable
Module 23 : Atelier final : une fiche de modèle exécutable

Ablations : trois changements, trois graines chacun

Pourquoi c'est important « Ce changement a aidé » est l'affirmation la plus courante de tout rapport de projet, et celle qu'on fait le plus souvent à partir d'une seule exécution. La règle du module 22 tranche ici, sur tes exécutions.

Choisis trois changements de ta référence de base, chacun changeant exactement un réglage (width, lr, steps, batch ou weight_decay). Lance chacun avec les graines 0, 1 et 2, et la référence de base à nouveau avec les mêmes graines (dans le journal de cette leçon, pour que chaque nombre soit au même endroit). Utilise evals=1 : seul le score final est nécessaire.

Pour chaque changement : diff = score moyen du changement moins score moyen de la référence (plus haut, c'est mieux), et se = judge.standard_error(baseline, change). Verdict : "better" si diff > 2 se, "worse" si diff < -2 se, sinon "not shown".

Le total doit tenir dans ton budget : un changement qui coûte plus (plus large, plus de pas) en utilise davantage.

Mots et symboles de cette leçon
référence de base
l'exécution simple à laquelle chaque changement est comparé, sur les mêmes graines
ablation
un seul changement par rapport à la référence de base, exécuté sur plusieurs graines, pour voir ce qu'il fait
À ton tour

Définis CHANGES (trois, chacun un réglage). Remplis log avec les 12 exécutions et verdict[name] pour chaque changement. Affiche les moyennes et 2 se.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.