Programme Leçon 87 sur 246 · Module 7 : Travailler sur de nouvelles données
Module 7 : Travailler sur de nouvelles données

Biais et variance, et la décroissance des poids comme a priori

Pourquoi c'est important Le surapprentissage se voit comme un écart : une erreur d'entraînement bien en dessous de l'erreur sur de nouvelles données. Deux causes mesurables se cachent derrière chaque écart de ce genre, et elles demandent des remèdes différents.

Tire cinq nouveaux jeux d'entraînement de la même source et ajuste le même genre de modèle à chacun. Regarde les cinq prédictions en un point :

  • Si elles sont toutes d'accord mais toutes fausses de la même façon : biais élevé (trop simple).
  • Si elles sont en désaccord complet entre elles : variance élevée (trop souple, à courir après le bruit de chaque jeu).

La variance, c'est à quel point le modèle change quand les données d'entraînement changent. Une variance élevée est la cause habituelle du surapprentissage, mais les deux mots ne veulent pas dire la même chose : le surapprentissage est l'écart que tu vois, la variance est une chose que tu peux mesurer derrière.

La décroissance des poids comme a priori

La décroissance des poids ajoute alpha * (sum of weights squared) à la perte. En termes de probabilités, elle dit, avant de voir les données : « je crois que de petits poids sont plus probables ». Cette croyance tire les ajustements extravagants vers des ajustements calmes et baisse la variance, au prix d'un peu de biais. Pour l'ajustement de polynômes, elle a une solution exacte appelée régression ridge : w = solve(A.T A + alpha I, A.T y), où A contient les puissances de x.

A priori : ce que tu crois sur les poids avant de voir les données. La décroissance des poids est un a priori qui favorise les petits poids.

Mots et symboles de cette leçon
surapprentissage, sous-apprentissage
ajuster le bruit des données d'entraînement ; ou être trop simple pour ajuster le motif
biais, variance
se tromper de la même façon à chaque fois ; ou beaucoup changer avec les données d'entraînement
a priori
ce que tu crois sur les poids avant de voir les données
ridge (alpha)
les moindres carrés avec une décroissance des poids de force alpha
À ton tour

Écris ridge_poly(x, y, deg, alpha) qui renvoie les coefficients (la plus petite puissance d'abord, avec la formule ci-dessus), et spread_at_half(deg, alpha) : ajuste cinq jeux d'entraînement (graines 0 à 4, 20 points chacun, fabriqués par make_set) et renvoie l'écart type des cinq prédictions en x = 0.5. Puis affecte à high_variance celui des degrés 1, 3 ou 12 (alpha 0) qui a la plus grande dispersion.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.