Yayılım nasıl toplanır, ve bir matris neyi esnetir
Neden önemli İki gerçek, derin bir ağın hiç eğitilip eğitilmeyeceğine karar verir: bir toplamın yayılımının terim sayısıyla nasıl büyüdüğü (Modül 6 başlangıç ağırlıklarını onunla belirler) ve bir matrisin her uygulandığında bir vektörü ne kadar esnettiği (Modül 11'in RNN'leri birini tekrar tekrar uygular).
Bir toplamın yayılımı
Her birinin varyansı v olan n bağımsız sayıyı topla. Varyanslar toplanır: toplamın varyansı n v'dir, yani yayılımı (standart sapması) sqrt(n v)'dir. Küçük sayılar: her birinin yayılımı 1 olan 100 girdi, yayılımı 100 ya da 1 değil, 10 olan bir toplam verir. Bir nöron n girdiyi ağırlıklarla çarpıp toplar, bu yüzden çıktısının yayılımını 1 civarında tutmak için her ağırlığın yaklaşık 1 / sqrt(n) yayılıma ihtiyacı vardır. Modül 6'nın başlangıç ağırlıklarının arkasındaki fikir budur.
Bir matris neyi esnetir
Bazı vektörler bir A matrisiyle çarpıldığında yalnızca uzar ya da kısalır; yönleri aynı kalır. Böyle bir vektör bir özvektördür ve esneme çarpanı onun özdeğeridir. Bir vektörü A ile tekrar tekrar çarp, en büyük (büyüklükçe) özdeğere sahip yön kazanır: t adımdan sonra uzunluk o özdeğerin t'inci kuvveti gibi büyür ya da küçülür. Yani 1'in üstünde bir en büyük boyut patlar, 1'in altında ise söner.
Küçük sayılar: A = [[0.5, 0], [0, 1.2]]. Özdeğerleri 0.5 ve 1.2'dir. 10 adımdan sonra ilk yön 0.510'a, yaklaşık 0.001'e küçülmüş, ikincisi 1.210'a, yaklaşık 6.2'ye büyümüştür.
Özdeğer: bir matrisin özel bir yönü ne kadar esnettiği. Spektral yarıçap: büyüklükçe en büyük özdeğer, tekrarlanan çarpmanın büyüyüp büyümeyeceğine ya da söneceğine karar verir.
Özet Varyanslar toplanır, bu yüzden yayılımlar sqrt(n) gibi büyür. Tekrarlanan çarpma en büyük özdeğerin t'inci kuvveti gibi büyür.
Bu dersteki kelimeler ve semboller
- vektör
- özellik başına bir sayıdan oluşan bir liste
Üç adım:
sum_spread(n, sd, trials, seed)yaz:rng = np.random.default_rng(seed)ile, yayılımı sd olan n normal sayınıntrialstane toplamını çek ve bu toplamların yayılımını (np.std) döndür.predicteddeğerini kuralın n = 100, sd = 0.5 için verdiği yayılıma ayarla (sqrt(n) × sd).growth_rate(A, steps=200)yaz: birlerden oluşan bir vektörden başla;stepskez A ile çarp ve sonucu uzunluk 1'e yeniden ölçekle; vektörün son yeniden ölçeklemeden hemen önceki uzunluğunu döndür. Çözülmüş örnek: A = [[0.5, 0], [0, 1.2]] için cevap 1.2'dir.
3. adımın neden çalıştığı: tekrarlanan çarpma en büyük esnemenin kazanmasını sağlar, bu yüzden son tek adımlık uzunluk, hiçbir özdeğer fonksiyonu olmadan bulunan, büyüklükçe en büyük özdeğerdir. (Kontrol simetrik matrisler kullanır, bunlarda bu her zaman geçerlidir. Bazı başka matrislerde en büyük ikisi karmaşık bir çifttir ve uzunluk adımdan adıma oynar; bu duruma ihtiyacın olmayacak.)
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.