Kenapa backward itu murah (reverse mode)
Kenapa ini penting Sebuah jaringan punya jutaan bobot. Jika setiap gradien butuh jalurnya sendiri, pelatihan akan mustahil dilakukan. Bergerak mundur mendapatkan semuanya dengan biaya sekitar satu jalur lagi.
Angka kecil
Ambil L = f3(f2(f1(x))) di mana x punya 3 angka dan L adalah satu angka. Bergerak maju dengan nudges, kamu memberikan nudge pada satu input, mendorongnya melewati semua tiga langkah, dan mempelajari satu gradient. Tiga input berarti tiga perjalanan penuh.
Pergi mundur, kamu mulai dari L, yang merupakan satu angka, dan mendorong "seberapa besar L peduli dengan ini?" kembali melalui f3, lalu f2, lalu f1. Satu perjalanan memberikan gradien untuk setiap input sekaligus.
Dengan 3 input kamu melakukan 1 perjalanan alih-alih 3. Dengan satu juta bobot, 1 perjalanan alih-alih satu juta. Perjalanan mundur tidak gratis: itu memakan biaya sekitar 2 sampai 3 lintasan maju, karena setiap langkah harus dikalikan dengan kemiringan lokalnya. Jadi dalam pekerjaan nyata penghematannya sekitar n / 3, yang untuk satu juta bobot masih sekitar 300,000 kali. Itulah mengapa setiap library deep learning bekerja mundur.
Mode terbalik: menghitung gradien dengan menyapu dari output kembali ke input. Blok pembangunnya disebut vector-Jacobian product; pelajaran berikutnya akan membedahnya.
Ringkasan Satu output, banyak input: jalan mundur.
Kata dan simbol di pelajaran ini
- vector
- daftar angka, satu per fitur
Isi operasi untuk jaringan dengan n bobot dan satu loss. forward_trips(n): berapa banyak lintasan penuh yang dibutuhkan metode nudge-each-input (satu lintasan nudge per bobot; abaikan satu lintasan tanpa nudge yang juga kamu jalankan). backward_trips(n): berapa banyak sapuan mundur yang dibutuhkan reverse mode. Lalu atur saving_for_a_million ke rasio perjalanan (bukan beban kerja) untuk n = 1,000,000.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.