Müfredat 246 dersinden 32. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Yayılım nasıl toplanır, ve bir matris neyi esnetir

Neden önemli İki gerçek, derin bir ağın hiç eğitilip eğitilmeyeceğine karar verir: bir toplamın yayılımının terim sayısıyla nasıl büyüdüğü (Modül 6 başlangıç ağırlıklarını onunla belirler) ve bir matrisin her uygulandığında bir vektörü ne kadar esnettiği (Modül 11'in RNN'leri birini tekrar tekrar uygular).

Bir toplamın yayılımı

Her birinin varyansı v olan n bağımsız sayıyı topla. Varyanslar toplanır: toplamın varyansı n v'dir, yani yayılımı (standart sapması) sqrt(n v)'dir. Küçük sayılar: her birinin yayılımı 1 olan 100 girdi, yayılımı 100 ya da 1 değil, 10 olan bir toplam verir. Bir nöron n girdiyi ağırlıklarla çarpıp toplar, bu yüzden çıktısının yayılımını 1 civarında tutmak için her ağırlığın yaklaşık 1 / sqrt(n) yayılıma ihtiyacı vardır. Modül 6'nın başlangıç ağırlıklarının arkasındaki fikir budur.

Bir matris neyi esnetir

Bazı vektörler bir A matrisiyle çarpıldığında yalnızca uzar ya da kısalır; yönleri aynı kalır. Böyle bir vektör bir özvektördür ve esneme çarpanı onun özdeğeridir. Bir vektörü A ile tekrar tekrar çarp, en büyük (büyüklükçe) özdeğere sahip yön kazanır: t adımdan sonra uzunluk o özdeğerin t'inci kuvveti gibi büyür ya da küçülür. Yani 1'in üstünde bir en büyük boyut patlar, 1'in altında ise söner.

Küçük sayılar: A = [[0.5, 0], [0, 1.2]]. Özdeğerleri 0.5 ve 1.2'dir. 10 adımdan sonra ilk yön 0.510'a, yaklaşık 0.001'e küçülmüş, ikincisi 1.210'a, yaklaşık 6.2'ye büyümüştür.

Özdeğer: bir matrisin özel bir yönü ne kadar esnettiği. Spektral yarıçap: büyüklükçe en büyük özdeğer, tekrarlanan çarpmanın büyüyüp büyümeyeceğine ya da söneceğine karar verir.

Özet Varyanslar toplanır, bu yüzden yayılımlar sqrt(n) gibi büyür. Tekrarlanan çarpma en büyük özdeğerin t'inci kuvveti gibi büyür.

Bu dersteki kelimeler ve semboller
vektör
özellik başına bir sayıdan oluşan bir liste
Senin sıran

Üç adım:

  1. sum_spread(n, sd, trials, seed) yaz: rng = np.random.default_rng(seed) ile, yayılımı sd olan n normal sayının trials tane toplamını çek ve bu toplamların yayılımını (np.std) döndür.
  2. predicted değerini kuralın n = 100, sd = 0.5 için verdiği yayılıma ayarla (sqrt(n) × sd).
  3. growth_rate(A, steps=200) yaz: birlerden oluşan bir vektörden başla; steps kez A ile çarp ve sonucu uzunluk 1'e yeniden ölçekle; vektörün son yeniden ölçeklemeden hemen önceki uzunluğunu döndür. Çözülmüş örnek: A = [[0.5, 0], [0, 1.2]] için cevap 1.2'dir.

3. adımın neden çalıştığı: tekrarlanan çarpma en büyük esnemenin kazanmasını sağlar, bu yüzden son tek adımlık uzunluk, hiçbir özdeğer fonksiyonu olmadan bulunan, büyüklükçe en büyük özdeğerdir. (Kontrol simetrik matrisler kullanır, bunlarda bu her zaman geçerlidir. Bazı başka matrislerde en büyük ikisi karmaşık bir çifttir ve uzunluk adımdan adıma oynar; bu duruma ihtiyacın olmayacak.)

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.