Un lettore di cifre in semplice NumPy
Perché è importante È una vera rete neurale che legge una vera scrittura a mano, con ogni riga scritta da te. È la classica prima rete, costruita senza una libreria.
I dati sono 1,797 cifre scritte a mano, ognuna un'immagine 8 per 8 appiattita in 64 numeri (una piccola cugina a bassa risoluzione del famoso set MNIST 28 per 28, da una raccolta diversa). La rete è quella dell'ultima lezione: 64 input, un layer nascosto di 64 neuroni ReLU, e 10 output.
Il ciclo di addestramento
- Fai partire i pesi piccoli e casuali:
rng.normal(0, 0.1, shape), i bias a zero. - A ogni epoca, mescola i dati di addestramento e percorrili in minibatch da 32.
- Per ogni minibatch, esegui
forward_backwarde sposta ogni peso contro il suo gradiente.
Minibatch: una piccola fetta casuale dei dati usata per un passo. È molto più veloce che usare tutti i dati a ogni passo, e il rumore aiuta perfino.
Indovina la curva: indovina la loss di addestramento dopo l'epoca 1 e dopo l'epoca 20 in my_guess.
Riepilogo Mescola, affetta, avanti, indietro, passo. Ripeti.
Parole e simboli di questa lezione
- neurone
- w . x + b, poi un'attivazione
- pesi (w, W), bias (b)
- i numeri che un neurone impara; il bias sposta il suo output
- ReLU
- max(0, z): tiene i positivi, azzera i negativi
- learning rate (lr)
- quanto è grande ogni passo di addestramento
- layer nascosto
- un layer tra input e output che costruisce nuove caratteristiche
Usando il tuo forward_backward, scrivi train(X, y, hidden, lr, epochs, seed) che restituisce un dizionario di pesi, e predict(params, X) che restituisce la cifra prevista per ogni riga. Compila my_guess. Il test nascosto misura l'accuratezza su 397 cifre su cui non ti sei mai addestrato: raggiungi almeno il 95%. (lr 0.5, 20 epoche, 64 nascosti funziona.)
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.