Una passata in avanti a due livelli
Un neurone è una retta. Impila un livello di neuroni, aggiungi una non linearità, poi mandalo in un altro livello, e la rete può piegarsi per adattarsi a quasi tutto. Far passare i dati attraverso i livelli per ottenere un'uscita si chiama passata in avanti (forward pass).
Un livello è solo una moltiplicazione tra matrici: ogni colonna della matrice dei pesi contiene i pesi di un neurone. Con numpy, tutto il livello è x @ W + b (l'operatore @ è la moltiplicazione tra matrici).
Tra un livello e l'altro applichiamo un'attivazione non lineare. Le reti moderne preferiscono la ReLU (Rectified Linear Unit), che è semplicemente max(0, z): tieni i positivi, azzera i negativi. Senza una non linearità, impilare livelli ricadrebbe in una sola retta.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerPerché qui lo facciamo con numpy
I veri framework per questo sono TensorFlow e PyTorch. Non possono girare in questa lezione: Pyodide è CPython compilato in WebAssembly nel tuo browser, e quelle librerie contengono pesante codice nativo C++ e CUDA/GPU che non ha una versione WebAssembly. Quindi otteniamo l'intuizione con poche righe di numpy, ed è esattamente ciò che una passata in avanti è sotto il cofano. I framework aggiungono autograd, GPU e scala, non idee nuove su questo passo.
Guarda le shape: un input di lunghezza 3 attraverso una matrice di pesi 3x4 dà 4 valori nascosti; attraverso una matrice 4x1 diventa una sola uscita.
Completa la passata in avanti. Scrivi relu(z) con np.maximum, poi calcola il livello nascosto h = relu(x @ W1 + b1) e l'uscita out = h @ W2 + b2 usando i pesi forniti.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.