CNN kecil pada digit
Kenapa ini penting Ini adalah ide LeNet dari tahun 1998: convolution, pooling, convolution, pooling, lalu classifier. Bangun ini dari layer rumah yang sudah kamu dapatkan dan lihat cara ini mengalahkan MLP pada digit yang digeser.
Perpustakaan rumah nnsim.engine punya lapisan yang kamu bangun: conv (3 by 3, padding yang sama), relu, pool2 (2 by 2 average), gap (global average pooling), matmul, cross_entropy dan Adam. Bobot conv untuk filter 3 by 3 dari saluran C_in ke C_out punya bentuk (9 * C_in, C_out).
Perpustakaan rumah, dalam satu kartu (simpan ini untuk sisa kursus; print(E.GUIDE) menunjukkannya lagi di pelajaran mana pun)
E.T(array)membungkus angka sebagai tensor..dataadalah array (float32);.gradadalahNonesampaibackward()mencapainya.loss.backward()mengisi.gradpada setiap tensor yang memengaruhi loss.opt = E.Adam(params, lr)mengambil daftar tensor.opt.step()memperbarui setiap tensor yang punya gradient lalu mengatur.gradnya kembali keNone, jadi kamu tidak perlu mengatur nol gradient sendiri.- Gambar menggunakan channels last: (batch, rows, columns, channels).
E.conv(x, w)menjaga ukuran (same padding) dan mengubah C channels menjadi F denganwberukuran (9 * C, F).E.pool2membagi dua rows dan columns;E.gapmerata-ratakannya, menghasilkan (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) sebagai tensor, y adalah array integer biasa. Ini mengembalikan tensor yang berisi satu angka;float(loss.data)membacanya.- satu langkah pelatihan penuh adalah tiga baris:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Rekaman yang berjalan:
print(R.experiment(name))mencantumkan pengaturannya dan nama metriknya;run = exp.run(setting=value, ...), lalurun.loss(pasangan step dan loss),run.metrics(sebuah dictionary) danrun.final_loss.
Tebak Kurvanya dengan chart: tebak training loss setelah epoch 1 dan setelah epoch 8 (terakhir).
Kata dan simbol di pelajaran ini
- convolution
- menggeser kisi bobot kecil (filter) di atas gambar, satu dot product per posisi
- filter, peta fitur
- grid bobot kecil yang terlatih; dan citra dari responsnya
- padding (p), stride (s)
- pixel yang ditambahkan di pinggir; berapa banyak pixel yang digeser filter setiap langkah
- pooling
- memperkecil peta dengan menyimpan nilai max atau rata-rata dari setiap blok
- TEREKAM
- kursus ini benar-benar dijalankan sekali dan dikirim untuk kamu pelajari
Isi my_guess, lalu tulis train(epochs, seed) yang mengembalikan fungsi predict(X). Gunakan conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, lalu linear layer ke 10 kelas. Capai setidaknya 90% pada test digits, dan setidaknya 60% pada test digits yang digeser 2 piksel (di mana MLP mendapat skor sekitar 21%). Skor pergeseran berubah banyak dari seed ke seed (jawaban kursus sendiri mendapat 0.76 sampai 0.89 pada lima seed), jadi batasnya jauh di bawah itu. Adam dengan learning rate sekitar 1e-2 bekerja di sini; dengan 3e-3 jaringan kecil ini belajar terlalu lambat untuk pelajaran ini.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.