Dropout, kurulmuş
Neden önemli Dropout bir ağın tek bir birime fazla dayanmasını engellemenin basit bir yoludur, ve onu birçok modelin içinde göreceksin.
Eğitim sırasında dropout her adımda her birimi p olasılıkla (diyelim 0.5) rastgele kapatır. Ağ herhangi bir birime güvenemez, çünkü bir sonraki adımda gitmiş olabilir, bu yüzden bildiğini birçok birime yayar.
Ortalamayı doğru tutmak
Birimlerin yarısı kapatılırsa bir sonraki katman yaklaşık yarı sinyal alır. Modern ters dropout bunu eğitim sırasında düzeltir: hayatta kalan birimler 1 / (1 - p) ile, burada 2 ile, çarpılır. Değerlendirme zamanında dropout hiçbir şey yapmaz, ve ortalama sinyal eğitimle eşleşir. (2014'teki orijinal makale bunun yerine değerlendirme zamanında ölçekliyordu; sonuç aynı, ama ters dropout değerlendirme koduna dokunmaz.)
Dropout oranı p: eğitim sırasında bir birimi kapatma olasılığı.
Bu dersteki kelimeler ve semboller
- dropout (p)
- eğitim sırasında birimleri p olasılıkla rastgele kapatmak
dropout(h, p, training, rng) yaz: eğitimde her elemanı p olasılıkla sıfırla ve hayatta kalanları 1 / (1 - p) ile ölçekle; aksi halde h'yi değiştirmeden döndür. Tutma maskesi olarak rng.random(h.shape) >= p kullan.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.