Più feature che spazio: la sovrapposizione
Perché è importante Se ogni unità significasse una cosa sola, leggere una rete sarebbe facile. Di solito non è così, e il modello giocattolo di Elhage et al. (2022) mostra perché: una rete può salvare più feature di quanti numeri abbia, purché le feature siano raramente attive insieme.
Il giocattolo: 5 feature, ognuna 0 quasi sempre e altrimenti un numero tra 0 e 1. Una matrice W (2 per 5) le schiaccia in soli 2 numeri, h = W x, e il modello le rilegge come relu(WT h + b). La feature i conta 0.9i nella loss (la feature 0 più di tutte). La colonna i di W è la direzione in cui è salvata la feature i; una colonna vicina a zero significa che la feature è stata scartata.
interp.superposition(sparsity=s) lo addestra (s = la probabilità che ogni feature sia 0). interp.stored(W) elenca le feature che ha tenuto e interp.angles(W) gli angoli tra di esse.
Prima prevedi: quando le feature sono raramente attive (sparsità 0.97), quante delle 5 possono tenere 2 numeri?
Parole e simboli di questa lezione
- sovrapposizione
- salvare più feature di quanti numeri ci siano, come direzioni che raramente sono attive insieme
Imposta my_guess su un numero da 2 a 5. Addestra con sparsità 0, 0.7 e 0.97 (seed 0) e riempi kept[s] con il numero di feature salvate, e smallest_angle[s] con l'angolo più piccolo tra due feature salvate.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.