Lehrplan Lektion 100 von 250 · Neural-Net Intuition, LLMs & KI Capstone
Neural-Net Intuition, LLMs & KI Capstone

Ein Vorwärtspass mit zwei Schichten

Ein Neuron ist eine Linie. Staple eine layer davon, füge eine Nichtlinearität hinzu, dann füttere das in eine andere Schicht, und das Netzwerk kann sich biegen, um fast alles anzupassen. Daten durch die Schichten zu schicken, um einen Output zu erhalten, wird forward pass genannt.

Eine

A Schicht ist nur eine Matrixmultiplikation: jede Spalte der Gewichtungsmatrix sind die Gewichte eines Neurons. Mit numpy ist die ganze Schicht x @ W + b (der @ Operator ist Matrixmultiplikation).

Zwischen den Schichten wenden wir eine nichtlineare Aktivierung an. Moderne Netze bevorzugen ReLU (Rectified Linear Unit), was einfach max(0, z)ist: positive Werte behalten, negative Werte auf Null setzen. Ohne eine Nichtlinearität würde das Stapeln von Schichten wieder zu einer einzelnen Linie kollabieren.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Warum wir das hier in numpy machen

Die echten Frameworks dafür sind TensorFlow und PyTorch. Sie können in dieser Lektion nicht laufen: Pyodide ist CPython, das zu WebAssembly in deinem Browser kompiliert wurde, und diese Bibliotheken enthalten schweren nativen C++ und CUDA/GPU Code, der keine WebAssembly Build hat. Also erhalten wir die Intuition mit ein paar Zeilen numpy, was genau das ist, was ein forward pass unter der Haube ist. Die Frameworks fügen autograd, GPUs und Skalierung hinzu, keine neuen Ideen über diesen Schritt.

Beobachte die Formen: ein Input der Länge 3 durch eine 3x4 Weight-Matrix ergibt 4 Hidden-Werte; durch eine 4x1 Matrix wird daraus ein einzelner Output.

Du bist dran

Beende den Forward Pass. Schreibe relu(z) mit np.maximum, dann berechne die Hidden Layer h = relu(x @ W1 + b1) und den Output out = h @ W2 + b2 unter Verwendung der bereitgestellten Weights.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.