Lehrplan Lektion 101 von 250 · Neural-Net Intuition, LLMs & KI Capstone
Neural-Net Intuition, LLMs & KI Capstone

Wie Modelle lernen

A frisches Netzwerk hat zufällige Gewichte und ist nutzlos. Training ist der Prozess, diese Gewichte zu beeinflussen, bis der Output gut wird. Zwei Ideen treiben es an.

1. Eine loss function misst die Fehlerhaftigkeit

Du brauchst eine einzige Zahl, die sagt, wie schlecht die Vorhersagen sind. Für Regression ist mean squared error (MSE) der Standard: Berechne den Durchschnitt der quadrierten Abstände zwischen Wahrheit und Vorhersage.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

Das Quadrieren bestraft große Fehler härter und hält alles positiv. Ein niedrigerer loss ist besser; ein loss von null bedeutet eine perfekte Anpassung.

2. Gradient descent rollt bergab

Stell dir den loss als eine hügelige Oberfläche vor und die weights als deine Position darauf. Der gradient ist die Steigung: er zeigt bergauf, hin zu mehr loss. Um loss zu reduzieren, machst du einen kleinen Schritt in die opposite Richtung.

w = w - learning_rate * gradient

Die learning rate ist die Schrittweite. Wiederhole dies tausende Male und die weights rollen in Richtung eines low-loss-tals hinunter. Diese loop ist alles was training ist.

Für ein Toy-Modell y = w * x mit MSE ergibt sich der Gradient des loss in Bezug auf w als mean(2 * (w*x - y) * x). Du wirst genau einen Schritt machen und sehen, wie der loss sinkt.

Von einem Gewicht zu einem ganzen Netzwerk

Das von dir in der letzten Lektion erstellte Zwei-Schichten-Netzwerk hat viele Gewichte, nicht nur eines. Es zu trainieren bedeutet, den Gradienten des Verlusts in Bezug auf jedes Gewicht, Schicht für Schicht, zu finden. Das ist backpropagation: Beginne beim Verlust und wende die Kettenregel rückwärts durch jede Schicht an, um die Steigung jedes Gewichts zu erhalten, dann mache denselben Abwärtsschritt bei allen gleichzeitig. Die Arithmetik ist schwerer, aber die Idee ist identisch mit dem einzelnen Schritt, den du unten machst. In echtem Code leitest du es nie von Hand ab: Frameworks wie PyTorch zeichnen den Forward Pass auf und ein loss.backward() Aufruf berechnet jeden Gradienten für dich. Wir machen hier die Ein-Gewicht-Version, damit der Mechanismus konkret bleibt.

Du bist dran

Implementiere mse(y_true, y_pred) (Mittelwert der quadrierten Differenzen). Berechne dann für das Toy-Modell y = w * x den Wert loss_before, mache einen Gradientenabstiegs-Schritt mit grad = np.mean(2 * (w*x - y) * x) und w = w - lr * grad und berechne dann loss_after. Der Loss muss sinken.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.