Biais et variance, et la décroissance des poids comme a priori
Pourquoi c'est important Le surapprentissage se voit comme un écart : une erreur d'entraînement bien en dessous de l'erreur sur de nouvelles données. Deux causes mesurables se cachent derrière chaque écart de ce genre, et elles demandent des remèdes différents.
Tire cinq nouveaux jeux d'entraînement de la même source et ajuste le même genre de modèle à chacun. Regarde les cinq prédictions en un point :
- Si elles sont toutes d'accord mais toutes fausses de la même façon : biais élevé (trop simple).
- Si elles sont en désaccord complet entre elles : variance élevée (trop souple, à courir après le bruit de chaque jeu).
La variance, c'est à quel point le modèle change quand les données d'entraînement changent. Une variance élevée est la cause habituelle du surapprentissage, mais les deux mots ne veulent pas dire la même chose : le surapprentissage est l'écart que tu vois, la variance est une chose que tu peux mesurer derrière.
La décroissance des poids comme a priori
La décroissance des poids ajoute alpha * (sum of weights squared) à la perte. En termes de probabilités, elle dit, avant de voir les données : « je crois que de petits poids sont plus probables ». Cette croyance tire les ajustements extravagants vers des ajustements calmes et baisse la variance, au prix d'un peu de biais. Pour l'ajustement de polynômes, elle a une solution exacte appelée régression ridge : w = solve(A.T A + alpha I, A.T y), où A contient les puissances de x.
A priori : ce que tu crois sur les poids avant de voir les données. La décroissance des poids est un a priori qui favorise les petits poids.
Mots et symboles de cette leçon
- surapprentissage, sous-apprentissage
- ajuster le bruit des données d'entraînement ; ou être trop simple pour ajuster le motif
- biais, variance
- se tromper de la même façon à chaque fois ; ou beaucoup changer avec les données d'entraînement
- a priori
- ce que tu crois sur les poids avant de voir les données
- ridge (alpha)
- les moindres carrés avec une décroissance des poids de force alpha
Écris ridge_poly(x, y, deg, alpha) qui renvoie les coefficients (la plus petite puissance d'abord, avec la formule ci-dessus), et spread_at_half(deg, alpha) : ajuste cinq jeux d'entraînement (graines 0 à 4, 20 points chacun, fabriqués par make_set) et renvoie l'écart type des cinq prédictions en x = 0.5. Puis affecte à high_variance celui des degrés 1, 3 ou 12 (alpha 0) qui a la plus grande dispersion.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.