Silabus Pelajaran 32 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Bagaimana spread bertambah, dan apa yang diregangkan oleh sebuah matrix

Kenapa ini penting Dua fakta menentukan apakah jaringan deep bisa dilatih atau tidak: bagaimana penyebaran jumlah bertambah dengan jumlah suku (Module 6 mengatur bobot awal dengan ini), dan seberapa besar sebuah matriks meregangkan sebuah vektor setiap kali diterapkan (RNN di Module 11 menerapkan satu berkali-kali).

Penyebaran dari sebuah jumlah

Tambah n angka independen, masing-masing dengan varians v. Variansnya bertambah: jumlahnya memiliki varians n v, jadi penyebarannya (standar deviasi) adalah sqrt(n v). Angka kecil: 100 input masing-masing dengan penyebaran 1 menghasilkan jumlah dengan penyebaran 10, bukan 100 dan bukan 1. Sebuah neuron menjumlahkan n input dikali bobot, jadi untuk menjaga penyebaran outputnya tetap dekat dengan 1, setiap bobot butuh penyebaran sekitar 1 / sqrt(n). Itulah ide di balik bobot awal Module 6.

Betapa matriks itu meregang

Beberapa vektor hanya menjadi lebih panjang atau lebih pendek saat dikalikan oleh matriks A; arahnya tetap. Vektor seperti itu adalah eigenvector dan faktor peregangannya adalah eigenvalue. Kalikan sebuah vektor dengan A berulang kali dan arah dengan eigenvalue terbesar (dalam ukuran) akan menang: setelah t langkah panjangnya tumbuh atau menyusut seperti eigenvalue tersebut pangkat t. Jadi ukuran terbesar di atas 1 akan membengkak, dan di bawah 1 akan memudar.

Angka kecil: A = [[0.5, 0], [0, 1.2]]. Eigenvalues-nya adalah 0.5 dan 1.2. Setelah 10 langkah arah pertama menyusut ke 0.510, sekitar 0.001, dan yang kedua tumbuh ke 1.210, sekitar 6.2.

Eigenvalue: seberapa besar sebuah matriks meregangkan satu arah khusus. Spectral radius: eigenvalue terbesar dalam ukuran, yang menentukan apakah perkalian berulang akan membesar atau memudar.

Ringkasan Varians bertambah, jadi spread tumbuh seperti sqrt(n). Perkalian berulang tumbuh seperti eigenvalue terbesar pangkat t.

Kata dan simbol di pelajaran ini
vector
daftar angka, satu per fitur
Giliranku

Tiga langkah:

  1. Tulis sum_spread(n, sd, trials, seed): dengan rng = np.random.default_rng(seed), gambar trials jumlah dari n angka normal dengan spread sd, dan kembalikan spread (np.std) dari jumlah tersebut.
  2. Atur predicted ke rentang yang diberikan aturan untuk n = 100, sd = 0.5 (sqrt(n) x sd).
  3. Tulis growth_rate(A, steps=200): mulai dari vektor berisi angka satu; sebanyak steps kali, kalikan dengan A dan ubah skala hasilnya ke panjang 1; kembalikan panjang vektor tepat sebelum perubahan skala terakhir. Contoh yang berhasil: untuk A = [[0.5, 0], [0, 1.2]] jawabannya adalah 1.2.

Kenapa langkah 3 berhasil: perkalian berulang membuat rentangan terbesar menang, jadi panjang satu langkah terakhir adalah eigenvalue terbesar dalam ukuran, ditemukan tanpa fungsi eigenvalue apa pun. (Pengecekan menggunakan matriks simetris, di mana ini selalu berlaku. Untuk beberapa matriks lain, dua yang terbesar adalah pasangan kompleks dan panjangnya goyang dari langkah ke langkah; kamu tidak akan butuh kasus itu.)

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.