Lehrplan Lektion 88 von 246 · Modul 7: Arbeiten mit neuen Daten
Modul 7: Arbeiten mit neuen Daten

Dropout, gebaut

Warum das wichtig ist Dropout ist ein einfacher Weg, um zu verhindern, dass ein Netzwerk sich zu sehr auf eine einzelne Einheit verlässt, und du wirst es in vielen Modellen sehen.

Während des Trainings schaltet dropout jede Einheit mit einer Wahrscheinlichkeit p (zum Beispiel 0.5) bei jedem Schritt zufällig aus. Das Netzwerk kann sich nicht auf eine einzelne Einheit verlassen, weil sie im nächsten Schritt weg sein könnte, also verteilt es das Wissen auf viele.

Den Durchschnitt richtig halten

Wenn die Hälfte der Einheiten ausgeschaltet ist, erhält die nächste Schicht etwa halb so viel Signal. Der moderne inverted dropout behebt dies während des Trainings: Die Einheiten, die überleben, werden mit 1 / (1 - p) multipliziert, hier 2. Zur Evaluierungszeit macht dropout gar nichts, und das durchschnittliche Signal entspricht dem Training. (Die ursprüngliche Arbeit von 2014 skalierte stattdessen zur Evaluierungszeit; das Ergebnis ist dasselbe, aber inverted dropout lässt den Evaluierungscode unberührt.)

Dropout rate p: die Wahrscheinlichkeit, eine Einheit während des Trainings auszuschalten.

Wörter und Symbole in dieser Lektion
dropout (p)
Schalte Einheiten während des Trainings mit der Wahrscheinlichkeit p zufällig aus
Du bist dran

Schreibe dropout(h, p, training, rng): während des Trainings setze jeden Eintrag mit der Wahrscheinlichkeit p auf Null und skaliere die Überlebenden mit 1 / (1 - p); ansonsten gib h unverändert zurück. Verwende rng.random(h.shape) >= p als Keep-Maske.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.