Silabus Pelajaran 45 dari 246 · Modul 3: Neuron ke MLP
Modul 3: Neuron ke MLP

Kurva apa pun dari bumps (universal approximation)

Kenapa ini penting Orang bilang jaringan dengan satu hidden layer bisa menyesuaikan kurva apa pun. Di sini kamu akan melihat alasannya, dengan membangunnya sendiri dari bumps.

Lihat sendiri

sigmoid yang sangat curam adalah sebuah langkah: 0 di kiri, 1 di kanan. Dua langkah, satu ke atas di left dan satu ke bawah di right, membentuk sebuah gundukan: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Itu adalah dua neuron tersembunyi dan satu bobot output. Letakkan gundukan berdampingan, masing-masing setinggi kurva di titiknya, dan kamu bisa meniru kurva apa pun, seperti diagram batang. Lebih banyak neuron, batang lebih tipis, kecocokan lebih dekat.

Universal approximation: satu hidden layer dengan neuron yang cukup bisa mendekati kurva apa pun yang masuk akal sesuka kamu. Ini tidak menjelaskan seberapa mudah bobot tersebut ditemukan melalui training.

Ringkasan Dua neuron membuat tonjolan; cukup banyak tonjolan bisa membuat apa saja.

Kata dan simbol di pelajaran ini
neuron
w . x + b, lalu sebuah activation
bobot (w, W), bias (b)
angka yang dipelajari neuron; bias menggeser outputnya
sigmoid
1 / (1 + exp(-z)): mengubah angka apa pun menjadi 0 sampai 1
lapisan tersembunyi
lapisan antara input dan output yang membangun fitur baru
Giliranku

Tulis bump(x, left, right, height, s=60), lalu approx(x, f, n_bumps) yang membagi 0 sampai pi menjadi n_bumps bagian yang sama dan menambah satu bump per bagian, masing-masing dengan tinggi f di tengah bagiannya. Dengan 10 bumps (20 neurons), mean squared error terhadap sin pada 0 sampai pi harus di bawah 0.01.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.