Bias e varianza, e il weight decay come prior
Perché è importante L'overfitting si vede come uno scarto: l'errore di addestramento molto sotto l'errore sui dati nuovi. Dietro ogni scarto del genere stanno due cause misurabili, e richiedono cure diverse.
Estrai cinque set di addestramento nuovi dalla stessa fonte e adatta a ciascuno lo stesso tipo di modello. Guarda le cinque previsioni in un punto:
- Se sono tutte d'accordo ma tutte sbagliate nello stesso modo: bias alto (troppo semplice).
- Se sono in forte disaccordo tra loro: varianza alta (troppo flessibile, insegue il rumore di ogni set).
La varianza è quanto cambia il modello quando cambiano i dati di addestramento. La varianza alta è la causa abituale dell'overfitting, ma le due parole non sono la stessa cosa: l'overfitting è lo scarto che vedi, la varianza è una cosa che puoi misurare dietro di esso.
Il weight decay come prior
Il weight decay aggiunge alpha * (sum of weights squared) alla loss. In termini di probabilità dice, prima di vedere i dati, "credo che i pesi piccoli siano più probabili". Quella convinzione tira gli adattamenti selvaggi verso quelli calmi e abbassa la varianza, al prezzo di un po' di bias. Per l'adattamento dei polinomi ha una soluzione esatta chiamata regressione ridge: w = solve(A.T A + alpha I, A.T y), dove A contiene le potenze di x.
Prior: ciò che credi sui pesi prima di vedere i dati. Il weight decay è un prior che favorisce i pesi piccoli.
Parole e simboli di questa lezione
- overfitting, underfitting
- adattarsi al rumore dei dati di addestramento; oppure essere troppo semplici per adattarsi allo schema
- bias, varianza
- sbagliare ogni volta nello stesso modo; oppure cambiare molto con i dati di addestramento
- prior
- ciò che credi sui pesi prima di vedere i dati
- ridge (alpha)
- minimi quadrati con un weight decay di forza alpha
Scrivi ridge_poly(x, y, deg, alpha) che restituisce i coefficienti (dalla potenza più bassa, usando la formula qui sopra), e spread_at_half(deg, alpha): adatta cinque set di addestramento (semi da 0 a 4, 20 punti ciascuno, creati da make_set) e restituisci la deviazione standard delle cinque previsioni in x = 0.5. Poi imposta high_variance su quello tra i gradi 1, 3 o 12 (alpha 0) che ha la dispersione più grande.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.