Programme Leçon 91 sur 246 · Module 7 : Travailler sur de nouvelles données
Module 7 : Travailler sur de nouvelles données

La double descente

Pourquoi c'est important La règle des manuels « plus de paramètres veut dire plus de surapprentissage » casse pour les gros modèles. Voir pourquoi change ta façon de penser la taille des modèles.

Vois-le

Lance l'animation. On ajuste 40 points d'entraînement en n'utilisant que les p premières des 400 caractéristiques disponibles, en choisissant parmi les ajustements exacts celui qui a les plus petits poids. Quand p s'approche du nombre de points d'entraînement (40), l'erreur de test grimpe, lentement puis brusquement, jusqu'à un pic exactement là où les deux sont égaux. Là, le modèle a juste assez de liberté pour toucher chaque point d'entraînement, et une seule façon de le faire, en général extravagante. Après le pic, il y a beaucoup d'ajustements exacts et choisir celui aux plus petits poids donne un ajustement doux : l'erreur de test redescend, et avec assez de caractéristiques elle finit plus bas que les petits modèles.

Seuil d'interpolation : la taille de modèle à laquelle il peut juste ajuster exactement les données d'entraînement. La double descente culmine là.

Prédis la courbe : prédis le nombre de caractéristiques qui a l'erreur de test la plus élevée, et si p = 400 bat p = 5.

Lis les nombres honnêtement

Ce jouet est construit pour montrer la forme de la courbe, pas pour bien prédire. Son signal est réparti finement sur les 400 caractéristiques et il n'y a que 40 points d'entraînement, donc chaque modèle ici est mauvais : prédire 0 pour tout obtient une erreur de test médiane d'environ 1.01, p = 5 obtient environ 1.11 et p = 400 environ 0.91. Le pic en p = 40 vaut environ 36. La seconde descente est réelle, mais elle n'atterrit qu'un peu en dessous de « ne rien prédire ».

Le pic a aussi un remède que tu connais déjà. La décroissance des poids (ridge) avec une force choisie sur les données de validation, au lieu de l'ajustement exact aux plus petits poids, garde l'erreur près de 1.0 à toutes les tailles, p = 40 compris (environ 1.02). La double descente, c'est ce qui arrive aux ajustements exacts ; un régulariseur réglé supprime le pic.

Mots et symboles de cette leçon
surapprentissage, sous-apprentissage
ajuster le bruit des données d'entraînement ; ou être trop simple pour ajuster le motif
ridge (alpha)
les moindres carrés avec une décroissance des poids de force alpha
seuil d'interpolation
la taille de modèle qui peut juste ajuster exactement les données d'entraînement
À ton tour

Remplis my_peak et my_400_beats_5. Puis écris test_error(p) : pour les graines 0 à 19, ajuste avec np.linalg.pinv(X[:, :p]) @ y, mesure l'erreur quadratique moyenne de test, et renvoie la médiane sur les graines.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.