Programma Lezione 24 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Moltiplicazione di matrici: un layer intero in una volta

Perché è importante Un layer è fatto di molti neuroni, e un batch di molti input. Una moltiplicazione di matrici calcola ogni neurone su ogni input in una riga.

Impila gli input come righe di X (forma: input per caratteristiche). Impila i pesi di ogni neurone come una colonna di W (forma: caratteristiche per neuroni). Allora X @ W ha una riga per input e una colonna per neurone: l'elemento (i, j) è il prodotto scalare dell'input i con i pesi del neurone j.

Numeri piccolissimi

X = [[1, 2],      W = [[1, 0, -1],
     [3, 4]]           [0, 1,  1]]
X @ W = [[1, 2, 1],
         [3, 4, 1]]

Riga 1, colonna 3: 1 per -1 più 2 per 1 fa 1. Le forme si concatenano: (2, 2) @ (2, 3) dà (2, 3). I numeri interni devono coincidere.

Moltiplicazione di matrici: ogni riga della sinistra per ogni colonna della destra, come prodotti scalari.

Riepilogo (batch, in) @ (in, out) = (batch, out). Quell'unica regola delle forme regge tutto il corso.

Parole e simboli di questa lezione
prodotto scalare (a . b)
moltiplica gli elementi corrispondenti e sommali; grande quando i vettori sono d'accordo
Tocca a te

Scrivi layer(X, W, b) che restituisce X @ W + b, e layer_shape(batch, n_in, n_out) che restituisce la forma dell'output come tupla senza costruire nessun array.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.