Programma Lezione 100 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

Una passata in avanti a due livelli

Un neurone è una retta. Impila un livello di neuroni, aggiungi una non linearità, poi mandalo in un altro livello, e la rete può piegarsi per adattarsi a quasi tutto. Far passare i dati attraverso i livelli per ottenere un'uscita si chiama passata in avanti (forward pass).

Un livello è solo una moltiplicazione tra matrici: ogni colonna della matrice dei pesi contiene i pesi di un neurone. Con numpy, tutto il livello è x @ W + b (l'operatore @ è la moltiplicazione tra matrici).

Tra un livello e l'altro applichiamo un'attivazione non lineare. Le reti moderne preferiscono la ReLU (Rectified Linear Unit), che è semplicemente max(0, z): tieni i positivi, azzera i negativi. Senza una non linearità, impilare livelli ricadrebbe in una sola retta.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Perché qui lo facciamo con numpy

I veri framework per questo sono TensorFlow e PyTorch. Non possono girare in questa lezione: Pyodide è CPython compilato in WebAssembly nel tuo browser, e quelle librerie contengono pesante codice nativo C++ e CUDA/GPU che non ha una versione WebAssembly. Quindi otteniamo l'intuizione con poche righe di numpy, ed è esattamente ciò che una passata in avanti è sotto il cofano. I framework aggiungono autograd, GPU e scala, non idee nuove su questo passo.

Guarda le shape: un input di lunghezza 3 attraverso una matrice di pesi 3x4 dà 4 valori nascosti; attraverso una matrice 4x1 diventa una sola uscita.

Tocca a te

Completa la passata in avanti. Scrivi relu(z) con np.maximum, poi calcola il livello nascosto h = relu(x @ W1 + b1) e l'uscita out = h @ W2 + b2 usando i pesi forniti.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.