Dropout, gebaut
Warum das wichtig ist Dropout ist ein einfacher Weg, um zu verhindern, dass ein Netzwerk sich zu sehr auf eine einzelne Einheit verlässt, und du wirst es in vielen Modellen sehen.
Während des Trainings schaltet dropout jede Einheit mit einer Wahrscheinlichkeit p (zum Beispiel 0.5) bei jedem Schritt zufällig aus. Das Netzwerk kann sich nicht auf eine einzelne Einheit verlassen, weil sie im nächsten Schritt weg sein könnte, also verteilt es das Wissen auf viele.
Den Durchschnitt richtig halten
Wenn die Hälfte der Einheiten ausgeschaltet ist, erhält die nächste Schicht etwa halb so viel Signal. Der moderne inverted dropout behebt dies während des Trainings: Die Einheiten, die überleben, werden mit 1 / (1 - p) multipliziert, hier 2. Zur Evaluierungszeit macht dropout gar nichts, und das durchschnittliche Signal entspricht dem Training. (Die ursprüngliche Arbeit von 2014 skalierte stattdessen zur Evaluierungszeit; das Ergebnis ist dasselbe, aber inverted dropout lässt den Evaluierungscode unberührt.)
Dropout rate p: die Wahrscheinlichkeit, eine Einheit während des Trainings auszuschalten.
Wörter und Symbole in dieser Lektion
- dropout (p)
- Schalte Einheiten während des Trainings mit der Wahrscheinlichkeit p zufällig aus
Schreibe dropout(h, p, training, rng): während des Trainings setze jeden Eintrag mit der Wahrscheinlichkeit p auf Null und skaliere die Überlebenden mit 1 / (1 - p); ansonsten gib h unverändert zurück. Verwende rng.random(h.shape) >= p als Keep-Maske.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.