Silabus Pelajaran 49 dari 246 · Modul 3: Neuron ke MLP
Modul 3: Neuron ke MLP

Pembaca digit dalam NumPy biasa

Kenapa ini penting Ini adalah jaringan saraf asli yang membaca tulisan tangan asli, dengan setiap baris yang kamu tulis. Ini adalah jaringan pertama yang klasik, dibangun tanpa library.

Datanya adalah 1,797 digit tulisan tangan, masing-masing berupa gambar 8 kali 8 yang diratakan menjadi 64 angka (saudara kecil beresolusi rendah dari set MNIST 28 kali 28 yang terkenal, dari koleksi yang berbeda). Jaringannya adalah yang dari pelajaran terakhir: 64 input, satu hidden layer berisi 64 ReLU neuron, dan 10 output.

Loop pelatihan

  1. Mulai bobot kecil dan acak: rng.normal(0, 0.1, shape), bias di nol.
  2. Setiap epoch, acak data pelatihan dan jalani dalam minibatches berisi 32.
  3. Untuk setiap minibatch, jalankan forward_backward dan update setiap weight terhadap gradientnya.

Minibatch: potongan kecil acak dari data yang digunakan untuk satu langkah. Ini jauh lebih cepat daripada menggunakan semua data setiap langkah, dan gangguannya bahkan membantu.

Tebak Kurvanya: tebak training loss setelah epoch 1 dan setelah epoch 20 di my_guess.

Ringkasan Shuffle, slice, forward, backward, step. Ulangi.

Kata dan simbol di pelajaran ini
neuron
w . x + b, lalu sebuah activation
bobot (w, W), bias (b)
angka yang dipelajari neuron; bias menggeser outputnya
ReLU
max(0, z): menyimpan positif, mengubah negatif jadi nol
laju pembelajaran (lr)
seberapa besar setiap langkah pelatihan
lapisan tersembunyi
lapisan antara input dan output yang membangun fitur baru
Giliranku

Gunakan forward_backward kamu, tulis train(X, y, hidden, lr, epochs, seed) yang mengembalikan dictionary bobot, dan predict(params, X) yang mengembalikan prediksi digit untuk setiap baris. Isi my_guess. Tes tersembunyi mengukur akurasi pada 397 digit yang tidak pernah kamu latih: capai setidaknya 95%. (lr 0.5, 20 epochs, 64 hidden berhasil.)

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.