Lehrplan Lektion 45 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Jede Kurve aus Unebenheiten (universelle Annäherung)

Warum das wichtig istMenschen sagen, dass ein Netzwerk mit einer versteckten Schicht jede Kurve anpassen kann. Hier siehst du warum, indem du es selbst aus Buckeln baust.

Sieh es dir an

Eine sehr steile Sigmoid-Funktion ist ein Schritt: 0 links, 1 rechts. Zwei Schritte, einer nach oben bei left und einer nach unten bei right, bilden einen Buckel: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Das sind zwei versteckte Neuronen und ein Output-Gewicht. Lege Buckel nebeneinander, jeder so hoch wie die Kurve an seiner Stelle, und du zeichnest jede Kurve nach, wie ein Balkendiagramm. Mehr Neuronen, dünnere Balken, bessere Anpassung.

Universelle Approximation: eine verborgene Schicht mit genug Neuronen kann sich beliebig nah an jede vernünftige Kurve annähern. Es sagt nichts darüber aus, wie einfach diese Gewichte durch Training zu finden sind.

Zusammenfassung Zwei Neuronen bilden einen Buckel; genug Buckel bilden alles.

Wörter und Symbole in dieser Lektion
neuron
w . x + b, dann eine Aktivierung
gewichte (w, W), bias (b)
die Zahlen, die ein Neuron lernt; der bias verschiebt seinen output
sigmoid
1 / (1 + exp(-z)): drückt jede Zahl in 0 bis 1
versteckte Schicht
a Schicht zwischen Input und Output, die neue Features erstellt
Du bist dran

Schreibe bump(x, left, right, height, s=60), dann approx(x, f, n_bumps), das 0 bis pi in n_bumps gleiche Teile teilt und pro Teil einen Buckel hinzufügt, wobei jeder die Höhe von f in der Mitte seines Teils hat. Mit 10 Buckeln (20 Neuronen) muss der mittlere quadratische Fehler gegenüber sin auf 0 bis pi unter 0.01 liegen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.