Aktivierungen: die Biegung zwischen den Schichten
Warum das wichtig ist Ohne eine Biegung zwischen den Schichten sind zehn Schichten nicht klüger als eine. Die Wahl der Biegung entscheidet auch, ob Gradienten fließen können.
Drei Aktivierungen, die du überall treffen wirst:
- ReLU: max(0, z). Günstig, und seine Steigung ist genau 1 für positive Eingaben, also gehen Gradienten undämpft durch. Steigung 0 für negative Werte.
- tanh: drückt in -1 bis 1, zentriert auf 0. Steigung 1 bei 0 aber fast 0 für große Eingaben: es saturates.
- GELU: ein glattes ReLU verwendet in transformern, etwa z mal sigmoid(1.702 z).
Warum die Steigung wichtig ist
Backpropagation multipliziert mit der Steigung jeder Aktivierung. Eine Steigung nahe 0 (ein gesättigtes tanh oder ReLU bei negativem Input) blockiert den Gradienten. Du wirst sehen, dass dies zu echten Trainingsfehlern in Modul 6 führt.
Saturate: in einem flachen Teil der Kurve zu sitzen, wo die Steigung und somit der Gradient durch sie fast Null ist.
Zusammenfassung Eine Aktivierung beugt; ihre Steigung entscheidet, wie viel Gradient zurückfließt.
Wörter und Symbole in dieser Lektion
- sigmoid
- 1 / (1 + exp(-z)): drückt jede Zahl in 0 bis 1
- ReLU
- max(0, z): behält positive Werte, macht negative zu Null
- backpropagation
- die Kettenregel rückwärts ausführen um den Gradienten jedes Gewichts zu erhalten
Schreibe jede Aktivierung und ihre Steigung: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, alle auf Arrays. Nutze die GELU-Approximation z * sigmoid(1.702 z). Ihre Steigung braucht zwei Regeln zusammen: die Produktregel (die Steigung von u × v ist u' × v + u × v') und die Kettenregel innerhalb des Sigmoids (die Steigung von sigmoid(1.702 z) ist 1.702 × s(1 - s), mit s = sigmoid(1.702 z)). Für die Steigung von ReLU bei genau 0, nutze 0. Der versteckte Test prüft jede Steigung gegen einen Nudge.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.