Programma Lezione 49 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Un lettore di cifre in semplice NumPy

Perché è importante È una vera rete neurale che legge una vera scrittura a mano, con ogni riga scritta da te. È la classica prima rete, costruita senza una libreria.

I dati sono 1,797 cifre scritte a mano, ognuna un'immagine 8 per 8 appiattita in 64 numeri (una piccola cugina a bassa risoluzione del famoso set MNIST 28 per 28, da una raccolta diversa). La rete è quella dell'ultima lezione: 64 input, un layer nascosto di 64 neuroni ReLU, e 10 output.

Il ciclo di addestramento

  1. Fai partire i pesi piccoli e casuali: rng.normal(0, 0.1, shape), i bias a zero.
  2. A ogni epoca, mescola i dati di addestramento e percorrili in minibatch da 32.
  3. Per ogni minibatch, esegui forward_backward e sposta ogni peso contro il suo gradiente.

Minibatch: una piccola fetta casuale dei dati usata per un passo. È molto più veloce che usare tutti i dati a ogni passo, e il rumore aiuta perfino.

Indovina la curva: indovina la loss di addestramento dopo l'epoca 1 e dopo l'epoca 20 in my_guess.

Riepilogo Mescola, affetta, avanti, indietro, passo. Ripeti.

Parole e simboli di questa lezione
neurone
w . x + b, poi un'attivazione
pesi (w, W), bias (b)
i numeri che un neurone impara; il bias sposta il suo output
ReLU
max(0, z): tiene i positivi, azzera i negativi
learning rate (lr)
quanto è grande ogni passo di addestramento
layer nascosto
un layer tra input e output che costruisce nuove caratteristiche
Tocca a te

Usando il tuo forward_backward, scrivi train(X, y, hidden, lr, epochs, seed) che restituisce un dizionario di pesi, e predict(params, X) che restituisce la cifra prevista per ogni riga. Compila my_guess. Il test nascosto misura l'accuratezza su 397 cifre su cui non ti sei mai addestrato: raggiungi almeno il 95%. (lr 0.5, 20 epoche, 64 nascosti funziona.)

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.