Programma Lezione 91 di 246 · Modulo 7: Lavorare su dati nuovi
Modulo 7: Lavorare su dati nuovi

Double descent

Perché è importante La regola da manuale "più parametri significa più overfitting" non regge per i modelli grandi. Capire perché cambia il modo in cui pensi alla dimensione del modello.

Guardalo

Avvia l'animazione. Adattiamo 40 punti di addestramento usando solo le prime p delle 400 caratteristiche disponibili, scegliendo tra gli adattamenti esatti quello con i pesi più piccoli. Man mano che p cresce verso il numero di punti di addestramento (40), l'errore di test sale, piano e poi bruscamente, fino a un picco esattamente dove i due sono uguali. Lì il modello ha giusto la libertà per centrare ogni punto di addestramento, e un solo modo per farlo, di solito selvaggio. Oltre il picco, ci sono molti adattamenti esatti e scegliere quello con i pesi più piccoli è un adattamento dolce: l'errore di test scende di nuovo, e con abbastanza caratteristiche finisce sotto quello dei modelli piccoli.

Soglia di interpolazione: la dimensione del modello a cui riesce giusto ad adattarsi esattamente ai dati di addestramento. Il double descent ha lì il suo picco.

Indovina la curva: prevedi il numero di caratteristiche con l'errore di test più alto, e se p = 400 batte p = 5.

Leggi i numeri con onestà

Questo giocattolo è costruito per mostrare la forma della curva, non per prevedere bene. Il suo segnale è sparso sottilmente su tutte le 400 caratteristiche e ci sono solo 40 punti di addestramento, quindi ogni modello qui è scarso: prevedere 0 per tutto ottiene un errore di test mediano di circa 1.01, p = 5 circa 1.11 e p = 400 circa 0.91. Il picco a p = 40 è circa 36. La seconda discesa è reale, ma atterra solo un po' sotto "non prevedere niente".

Il picco ha anche una cura che conosci già. Il weight decay (ridge) con una forza scelta sui dati di validazione, invece dell'adattamento esatto con i pesi più piccoli, tiene l'errore vicino a 1.0 a ogni dimensione, p = 40 compreso (circa 1.02). Il double descent è ciò che succede agli adattamenti esatti; un regolarizzatore regolato toglie il picco.

Parole e simboli di questa lezione
overfitting, underfitting
adattarsi al rumore dei dati di addestramento; oppure essere troppo semplici per adattarsi allo schema
ridge (alpha)
minimi quadrati con un weight decay di forza alpha
soglia di interpolazione
la dimensione del modello che riesce giusto ad adattarsi esattamente ai dati di addestramento
Tocca a te

Compila my_peak e my_400_beats_5. Poi scrivi test_error(p): per i semi da 0 a 19, adatta con np.linalg.pinv(X[:, :p]) @ y, misura l'errore quadratico medio di test, e restituisci la mediana sui semi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.