Ein Vorwärtspass mit zwei Schichten
Ein Neuron ist eine Linie. Staple eine layer davon, füge eine Nichtlinearität hinzu, dann füttere das in eine andere Schicht, und das Netzwerk kann sich biegen, um fast alles anzupassen. Daten durch die Schichten zu schicken, um einen Output zu erhalten, wird forward pass genannt.
EineA Schicht ist nur eine Matrixmultiplikation: jede Spalte der Gewichtungsmatrix sind die Gewichte eines Neurons. Mit numpy ist die ganze Schicht x @ W + b (der @ Operator ist Matrixmultiplikation).
Zwischen den Schichten wenden wir eine nichtlineare Aktivierung an. Moderne Netze bevorzugen ReLU (Rectified Linear Unit), was einfach max(0, z)ist: positive Werte behalten, negative Werte auf Null setzen. Ohne eine Nichtlinearität würde das Stapeln von Schichten wieder zu einer einzelnen Linie kollabieren.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerWarum wir das hier in numpy machen
Die echten Frameworks dafür sind TensorFlow und PyTorch. Sie können in dieser Lektion nicht laufen: Pyodide ist CPython, das zu WebAssembly in deinem Browser kompiliert wurde, und diese Bibliotheken enthalten schweren nativen C++ und CUDA/GPU Code, der keine WebAssembly Build hat. Also erhalten wir die Intuition mit ein paar Zeilen numpy, was genau das ist, was ein forward pass unter der Haube ist. Die Frameworks fügen autograd, GPUs und Skalierung hinzu, keine neuen Ideen über diesen Schritt.
Beobachte die Formen: ein Input der Länge 3 durch eine 3x4 Weight-Matrix ergibt 4 Hidden-Werte; durch eine 4x1 Matrix wird daraus ein einzelner Output.
Beende den Forward Pass. Schreibe relu(z) mit np.maximum, dann berechne die Hidden Layer h = relu(x @ W1 + b1) und den Output out = h @ W2 + b2 unter Verwendung der bereitgestellten Weights.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.