Grokking: prima memorizzare, poi capire
Perché è importante Power et al. (2022) hanno visto una rete arrivare a un'accuratezza di addestramento perfetta, restare al livello del caso sui dati di test per molto tempo, poi generalizzare all'improvviso. È il caso più chiaro in cui guardare dentro ha spiegato qualcosa che la curva della loss non poteva spiegare.
Il compito: a + b modulo 23 (il resto della divisione per 23; quindi 20 + 5 fa 2). Ci sono 23 × 23 = 529 somme; il modello si addestra su una metà casuale e viene testato sull'altra metà. Ogni numero riceve un embedding di 32; i due embedding passano in un layer ReLU da 128 e escono in 23 punteggi. Si addestra sull'intera metà a ogni passo, con AdamW (Modulo 5).
Addestralo dal vivo per 1,500 passi, poi leggi le esecuzioni registrate del corso da 40,000 passi (circa 11 secondi ciascuna su un portatile, troppo per una lezione), con weight decay 3 e senza.
Prima prevedi: dopo 1,500 passi, l'accuratezza di addestramento sarà 100%. Quale sarà l'accuratezza di test?
Parole e simboli di questa lezione
- grokking
- l'accuratezza di test che sale molto dopo che l'accuratezza di addestramento è perfetta
Imposta my_guess su "near 0", "near 50%" o "near 100%". Addestra per 1,500 passi e riempi live con (accuratezza di addestramento, accuratezza di test). Da runs = interp.recorded()['grok'], la 'curve' di ogni esecuzione ha righe (passo, accuratezza di addestramento, accuratezza di test, quota top-3): imposta half_way sul primo passo in cui l'accuratezza di test arriva a 0.5 con weight decay 3, e final_test sull'ultima accuratezza di test di ogni esecuzione.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.