Silabus Pelajaran 119 dari 246 · Modul 10: Jaringan yang bisa melihat (CNNs)
Modul 10: Jaringan yang bisa melihat (CNNs)

CNN kecil pada digit

Kenapa ini penting Ini adalah ide LeNet dari tahun 1998: convolution, pooling, convolution, pooling, lalu classifier. Bangun ini dari layer rumah yang sudah kamu dapatkan dan lihat cara ini mengalahkan MLP pada digit yang digeser.

Perpustakaan rumah nnsim.engine punya lapisan yang kamu bangun: conv (3 by 3, padding yang sama), relu, pool2 (2 by 2 average), gap (global average pooling), matmul, cross_entropy dan Adam. Bobot conv untuk filter 3 by 3 dari saluran C_in ke C_out punya bentuk (9 * C_in, C_out).

Perpustakaan rumah, dalam satu kartu (simpan ini untuk sisa kursus; print(E.GUIDE) menunjukkannya lagi di pelajaran mana pun)

  • E.T(array) membungkus angka sebagai tensor. .data adalah array (float32); .grad adalah None sampai backward() mencapainya.
  • loss.backward() mengisi .grad pada setiap tensor yang memengaruhi loss.
  • opt = E.Adam(params, lr) mengambil daftar tensor. opt.step() memperbarui setiap tensor yang punya gradient lalu mengatur .grad nya kembali ke None, jadi kamu tidak perlu mengatur nol gradient sendiri.
  • Gambar menggunakan channels last: (batch, rows, columns, channels). E.conv(x, w) menjaga ukuran (same padding) dan mengubah C channels menjadi F dengan w berukuran (9 * C, F). E.pool2 membagi dua rows dan columns; E.gap merata-ratakannya, menghasilkan (batch, channels).
  • E.cross_entropy(logits, y): logits (batch, classes) sebagai tensor, y adalah array integer biasa. Ini mengembalikan tensor yang berisi satu angka; float(loss.data) membacanya.
  • satu langkah pelatihan penuh adalah tiga baris: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Rekaman yang berjalan: print(R.experiment(name)) mencantumkan pengaturannya dan nama metriknya; run = exp.run(setting=value, ...), lalu run.loss (pasangan step dan loss), run.metrics (sebuah dictionary) dan run.final_loss.

Tebak Kurvanya dengan chart: tebak training loss setelah epoch 1 dan setelah epoch 8 (terakhir).

Kata dan simbol di pelajaran ini
convolution
menggeser kisi bobot kecil (filter) di atas gambar, satu dot product per posisi
filter, peta fitur
grid bobot kecil yang terlatih; dan citra dari responsnya
padding (p), stride (s)
pixel yang ditambahkan di pinggir; berapa banyak pixel yang digeser filter setiap langkah
pooling
memperkecil peta dengan menyimpan nilai max atau rata-rata dari setiap blok
TEREKAM
kursus ini benar-benar dijalankan sekali dan dikirim untuk kamu pelajari
Giliranku

Isi my_guess, lalu tulis train(epochs, seed) yang mengembalikan fungsi predict(X). Gunakan conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, lalu linear layer ke 10 kelas. Capai setidaknya 90% pada test digits, dan setidaknya 60% pada test digits yang digeser 2 piksel (di mana MLP mendapat skor sekitar 21%). Skor pergeseran berubah banyak dari seed ke seed (jawaban kursus sendiri mendapat 0.76 sampai 0.89 pada lima seed), jadi batasnya jauh di bawah itu. Adam dengan learning rate sekitar 1e-2 bekerja di sini; dengan 3e-3 jaringan kecil ini belajar terlalu lambat untuk pelajaran ini.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.