La double descente
Pourquoi c'est important La règle des manuels « plus de paramètres veut dire plus de surapprentissage » casse pour les gros modèles. Voir pourquoi change ta façon de penser la taille des modèles.
Vois-le
Lance l'animation. On ajuste 40 points d'entraînement en n'utilisant que les p premières des 400 caractéristiques disponibles, en choisissant parmi les ajustements exacts celui qui a les plus petits poids. Quand p s'approche du nombre de points d'entraînement (40), l'erreur de test grimpe, lentement puis brusquement, jusqu'à un pic exactement là où les deux sont égaux. Là, le modèle a juste assez de liberté pour toucher chaque point d'entraînement, et une seule façon de le faire, en général extravagante. Après le pic, il y a beaucoup d'ajustements exacts et choisir celui aux plus petits poids donne un ajustement doux : l'erreur de test redescend, et avec assez de caractéristiques elle finit plus bas que les petits modèles.
Seuil d'interpolation : la taille de modèle à laquelle il peut juste ajuster exactement les données d'entraînement. La double descente culmine là.
Prédis la courbe : prédis le nombre de caractéristiques qui a l'erreur de test la plus élevée, et si p = 400 bat p = 5.
Lis les nombres honnêtement
Ce jouet est construit pour montrer la forme de la courbe, pas pour bien prédire. Son signal est réparti finement sur les 400 caractéristiques et il n'y a que 40 points d'entraînement, donc chaque modèle ici est mauvais : prédire 0 pour tout obtient une erreur de test médiane d'environ 1.01, p = 5 obtient environ 1.11 et p = 400 environ 0.91. Le pic en p = 40 vaut environ 36. La seconde descente est réelle, mais elle n'atterrit qu'un peu en dessous de « ne rien prédire ».
Le pic a aussi un remède que tu connais déjà. La décroissance des poids (ridge) avec une force choisie sur les données de validation, au lieu de l'ajustement exact aux plus petits poids, garde l'erreur près de 1.0 à toutes les tailles, p = 40 compris (environ 1.02). La double descente, c'est ce qui arrive aux ajustements exacts ; un régulariseur réglé supprime le pic.
Mots et symboles de cette leçon
- surapprentissage, sous-apprentissage
- ajuster le bruit des données d'entraînement ; ou être trop simple pour ajuster le motif
- ridge (alpha)
- les moindres carrés avec une décroissance des poids de force alpha
- seuil d'interpolation
- la taille de modèle qui peut juste ajuster exactement les données d'entraînement
Remplis my_peak et my_400_beats_5. Puis écris test_error(p) : pour les graines 0 à 19, ajuste avec np.linalg.pinv(X[:, :p]) @ y, mesure l'erreur quadratique moyenne de test, et renvoie la médiane sur les graines.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.