Müfredat 246 dersinden 28. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Geriye gitmek neden ucuz (ters kip)

Neden önemli Bir ağın milyonlarca ağırlığı vardır. Her gradyan kendi geçişini gerektirseydi, eğitim imkânsız olurdu. Geriye gitmek hepsini aşağı yukarı bir geçiş daha fiyatına verir.

Küçük sayılar

x'in 3 sayı ve L'nin tek sayı olduğu L = f3(f2(f1(x))) fonksiyonunu al. İtmelerle ileri giderken bir girdiyi itersin, onu üç adımın hepsinden geçirirsin ve tek bir gradyan öğrenirsin. Üç girdi, üç tam yolculuk demektir.

Geriye giderken, tek bir sayı olan L'den başlarsın ve "L bunu ne kadar önemsiyor?" sorusunu f3'ten, sonra f2'den, sonra f1'den geri itersin. Tek bir yolculuk her girdinin gradyanını aynı anda verir.

3 girdiyle 3 yerine 1 yolculuk yaparsın. Bir milyon ağırlıkla, bir milyon yerine 1 yolculuk. Yine de geri yolculuk bedava değildir: her adım kendi yerel eğimleriyle çarpmak zorunda olduğu için yaklaşık 2 ile 3 ileri geçiş tutar. Yani gerçek işte kazanç yaklaşık n / 3'tür, bu da bir milyon ağırlık için hâlâ yaklaşık 300.000 kattır. Her derin öğrenme kütüphanesinin geriye doğru çalışmasının nedeni budur.

Ters kip: gradyanları çıktıdan girdilere geri tarayarak hesaplamak. Yapı taşının adı vektör-Jacobian çarpımıdır; sonraki ders onu parçalarına ayırıyor.

Özet Bir çıktı, çok girdi: geriye git.

Bu dersteki kelimeler ve semboller
vektör
özellik başına bir sayıdan oluşan bir liste
Senin sıran

n ağırlıklı ve tek kayıplı bir ağ için işlem sayılarını doldur. forward_trips(n): her girdiyi itme yönteminin kaç tam geçişe ihtiyaç duyduğu (ağırlık başına bir itilmiş geçiş; ayrıca çalıştıracağın tek itilmemiş geçişi sayma). backward_trips(n): ters kipin kaç geri taramaya ihtiyaç duyduğu. Sonra saving_for_a_million değerini n = 1.000.000 için yolculukların (işin değil) oranına ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.