Lehrplan Lektion 87 von 246 · Modul 7: Arbeiten mit neuen Daten
Modul 7: Arbeiten mit neuen Daten

Bias und Varianz und Weight Decay als Prior

Warum das wichtig istOverfitting zeigt sich als Lücke: der Trainingsfehler liegt weit unter dem Fehler auf neuen Daten. Zwei messbare Ursachen liegen hinter jeder solchen Lücke, und sie brauchen unterschiedliche Heilmittel.

Ziehe fünf neue Trainingssets aus derselben Quelle und passe für jedes das gleiche Modell an. Betrachte die fünf Vorhersagen an einem Punkt:

  • Wenn sie alle zustimmen, aber alle auf die gleiche Weise falsch liegen: high bias (zu einfach).
  • Wenn sie stark voneinander abweichen: hohe Varianz (zu flexibel, jagt das Rauschen jedes Sets).

Varianz ist das, wie sehr sich das Modell ändert, wenn die Trainingsdaten sich ändern. Hohe Varianz ist die übliche Ursache für Overfitting, aber die zwei Wörter sind nicht dasselbe: Overfitting ist die Lücke, die du siehst, Varianz ist eine Sache, die du dahinter messen kannst.

Weight decay als Prior

Weight decay fügt alpha * (sum of weights squared) zum loss hinzu. In Wahrscheinlichkeitstermen sagt es, bevor Daten gesehen werden, "Ich glaube, kleine weights sind wahrscheinlicher". Dieser Glaube zieht wilde fits zu ruhigen hin und senkt die Varianz, auf Kosten eines kleinen bias. Für polynomial fitting hat es eine exakte Lösung namens ridge regression: w = solve(A.T A + alpha I, A.T y), wobei A die Potenzen von x hält.

Prior: was du über die Gewichte glaubst, bevor du Daten siehst. Weight decay ist ein Prior, der kleine Gewichte bevorzugt.

Wörter und Symbole in dieser Lektion
Overfitting, Underfitting
Anpassung des Rauschens in den Trainingsdaten; oder zu einfach um das Muster anzupassen
bias, variance
jedes Mal auf die gleiche Weise falsch zu liegen; oder sich mit den Trainingsdaten stark zu ändern
prior
was du über die weights glaubst, bevor du Daten siehst
ridge (alpha)
Kleinste-Quadrate-Methode mit Weight Decay einer Stärke von alpha
Du bist dran

Schreibe ridge_poly(x, y, deg, alpha) und gib die Koeffizienten zurück (niedrigste Potenz zuerst, unter Verwendung der obigen Formel), und spread_at_half(deg, alpha): passe fünf Trainingssets an (Seeds 0 bis 4, jeweils 20 Punkte, erstellt durch make_set) und gib die Standardabweichung der fünf Vorhersagen bei x = 0.5 zurück. Setze dann high_variance auf den Grad 1, 3 oder 12 (alpha 0), der die größte Streuung hat.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.