Lehrplan Lektion 44 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Aktivierungen: die Biegung zwischen den Schichten

Warum das wichtig ist Ohne eine Biegung zwischen den Schichten sind zehn Schichten nicht klüger als eine. Die Wahl der Biegung entscheidet auch, ob Gradienten fließen können.

Drei Aktivierungen, die du überall treffen wirst:

  • ReLU: max(0, z). Günstig, und seine Steigung ist genau 1 für positive Eingaben, also gehen Gradienten undämpft durch. Steigung 0 für negative Werte.
  • tanh: drückt in -1 bis 1, zentriert auf 0. Steigung 1 bei 0 aber fast 0 für große Eingaben: es saturates.
  • GELU: ein glattes ReLU verwendet in transformern, etwa z mal sigmoid(1.702 z).

Warum die Steigung wichtig ist

Backpropagation multipliziert mit der Steigung jeder Aktivierung. Eine Steigung nahe 0 (ein gesättigtes tanh oder ReLU bei negativem Input) blockiert den Gradienten. Du wirst sehen, dass dies zu echten Trainingsfehlern in Modul 6 führt.

Saturate: in einem flachen Teil der Kurve zu sitzen, wo die Steigung und somit der Gradient durch sie fast Null ist.

Zusammenfassung Eine Aktivierung beugt; ihre Steigung entscheidet, wie viel Gradient zurückfließt.

Wörter und Symbole in dieser Lektion
sigmoid
1 / (1 + exp(-z)): drückt jede Zahl in 0 bis 1
ReLU
max(0, z): behält positive Werte, macht negative zu Null
backpropagation
die Kettenregel rückwärts ausführen um den Gradienten jedes Gewichts zu erhalten
Du bist dran

Schreibe jede Aktivierung und ihre Steigung: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, alle auf Arrays. Nutze die GELU-Approximation z * sigmoid(1.702 z). Ihre Steigung braucht zwei Regeln zusammen: die Produktregel (die Steigung von u × v ist u' × v + u × v') und die Kettenregel innerhalb des Sigmoids (die Steigung von sigmoid(1.702 z) ist 1.702 × s(1 - s), mit s = sigmoid(1.702 z)). Für die Steigung von ReLU bei genau 0, nutze 0. Der versteckte Test prüft jede Steigung gegen einen Nudge.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.