Double descent
Perché è importante La regola da manuale "più parametri significa più overfitting" non regge per i modelli grandi. Capire perché cambia il modo in cui pensi alla dimensione del modello.
Guardalo
Avvia l'animazione. Adattiamo 40 punti di addestramento usando solo le prime p delle 400 caratteristiche disponibili, scegliendo tra gli adattamenti esatti quello con i pesi più piccoli. Man mano che p cresce verso il numero di punti di addestramento (40), l'errore di test sale, piano e poi bruscamente, fino a un picco esattamente dove i due sono uguali. Lì il modello ha giusto la libertà per centrare ogni punto di addestramento, e un solo modo per farlo, di solito selvaggio. Oltre il picco, ci sono molti adattamenti esatti e scegliere quello con i pesi più piccoli è un adattamento dolce: l'errore di test scende di nuovo, e con abbastanza caratteristiche finisce sotto quello dei modelli piccoli.
Soglia di interpolazione: la dimensione del modello a cui riesce giusto ad adattarsi esattamente ai dati di addestramento. Il double descent ha lì il suo picco.
Indovina la curva: prevedi il numero di caratteristiche con l'errore di test più alto, e se p = 400 batte p = 5.
Leggi i numeri con onestà
Questo giocattolo è costruito per mostrare la forma della curva, non per prevedere bene. Il suo segnale è sparso sottilmente su tutte le 400 caratteristiche e ci sono solo 40 punti di addestramento, quindi ogni modello qui è scarso: prevedere 0 per tutto ottiene un errore di test mediano di circa 1.01, p = 5 circa 1.11 e p = 400 circa 0.91. Il picco a p = 40 è circa 36. La seconda discesa è reale, ma atterra solo un po' sotto "non prevedere niente".
Il picco ha anche una cura che conosci già. Il weight decay (ridge) con una forza scelta sui dati di validazione, invece dell'adattamento esatto con i pesi più piccoli, tiene l'errore vicino a 1.0 a ogni dimensione, p = 40 compreso (circa 1.02). Il double descent è ciò che succede agli adattamenti esatti; un regolarizzatore regolato toglie il picco.
Parole e simboli di questa lezione
- overfitting, underfitting
- adattarsi al rumore dei dati di addestramento; oppure essere troppo semplici per adattarsi allo schema
- ridge (alpha)
- minimi quadrati con un weight decay di forza alpha
- soglia di interpolazione
- la dimensione del modello che riesce giusto ad adattarsi esattamente ai dati di addestramento
Compila my_peak e my_400_beats_5. Poi scrivi test_error(p): per i semi da 0 a 19, adatta con np.linalg.pinv(X[:, :p]) @ y, misura l'errore quadratico medio di test, e restituisci la mediana sui semi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.