Wie Modelle lernen
A frisches Netzwerk hat zufällige Gewichte und ist nutzlos. Training ist der Prozess, diese Gewichte zu beeinflussen, bis der Output gut wird. Zwei Ideen treiben es an.
1. Eine loss function misst die Fehlerhaftigkeit
Du brauchst eine einzige Zahl, die sagt, wie schlecht die Vorhersagen sind. Für Regression ist mean squared error (MSE) der Standard: Berechne den Durchschnitt der quadrierten Abstände zwischen Wahrheit und Vorhersage.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Das Quadrieren bestraft große Fehler härter und hält alles positiv. Ein niedrigerer loss ist besser; ein loss von null bedeutet eine perfekte Anpassung.
2. Gradient descent rollt bergab
Stell dir den loss als eine hügelige Oberfläche vor und die weights als deine Position darauf. Der gradient ist die Steigung: er zeigt bergauf, hin zu mehr loss. Um loss zu reduzieren, machst du einen kleinen Schritt in die opposite Richtung.
w = w - learning_rate * gradientDie learning rate ist die Schrittweite. Wiederhole dies tausende Male und die weights rollen in Richtung eines low-loss-tals hinunter. Diese loop ist alles was training ist.
Für ein Toy-Modell y = w * x mit MSE ergibt sich der Gradient des loss in Bezug auf w als mean(2 * (w*x - y) * x). Du wirst genau einen Schritt machen und sehen, wie der loss sinkt.
Von einem Gewicht zu einem ganzen Netzwerk
Das von dir in der letzten Lektion erstellte Zwei-Schichten-Netzwerk hat viele Gewichte, nicht nur eines. Es zu trainieren bedeutet, den Gradienten des Verlusts in Bezug auf jedes Gewicht, Schicht für Schicht, zu finden. Das ist backpropagation: Beginne beim Verlust und wende die Kettenregel rückwärts durch jede Schicht an, um die Steigung jedes Gewichts zu erhalten, dann mache denselben Abwärtsschritt bei allen gleichzeitig. Die Arithmetik ist schwerer, aber die Idee ist identisch mit dem einzelnen Schritt, den du unten machst. In echtem Code leitest du es nie von Hand ab: Frameworks wie PyTorch zeichnen den Forward Pass auf und ein loss.backward() Aufruf berechnet jeden Gradienten für dich. Wir machen hier die Ein-Gewicht-Version, damit der Mechanismus konkret bleibt.
Implementiere mse(y_true, y_pred) (Mittelwert der quadrierten Differenzen). Berechne dann für das Toy-Modell y = w * x den Wert loss_before, mache einen Gradientenabstiegs-Schritt mit grad = np.mean(2 * (w*x - y) * x) und w = w - lr * grad und berechne dann loss_after. Der Loss muss sinken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.