Müfredat 246 dersinden 88. · Modül 7: Yeni veri üzerinde çalışmak
Modül 7: Yeni veri üzerinde çalışmak

Dropout, kurulmuş

Neden önemli Dropout bir ağın tek bir birime fazla dayanmasını engellemenin basit bir yoludur, ve onu birçok modelin içinde göreceksin.

Eğitim sırasında dropout her adımda her birimi p olasılıkla (diyelim 0.5) rastgele kapatır. Ağ herhangi bir birime güvenemez, çünkü bir sonraki adımda gitmiş olabilir, bu yüzden bildiğini birçok birime yayar.

Ortalamayı doğru tutmak

Birimlerin yarısı kapatılırsa bir sonraki katman yaklaşık yarı sinyal alır. Modern ters dropout bunu eğitim sırasında düzeltir: hayatta kalan birimler 1 / (1 - p) ile, burada 2 ile, çarpılır. Değerlendirme zamanında dropout hiçbir şey yapmaz, ve ortalama sinyal eğitimle eşleşir. (2014'teki orijinal makale bunun yerine değerlendirme zamanında ölçekliyordu; sonuç aynı, ama ters dropout değerlendirme koduna dokunmaz.)

Dropout oranı p: eğitim sırasında bir birimi kapatma olasılığı.

Bu dersteki kelimeler ve semboller
dropout (p)
eğitim sırasında birimleri p olasılıkla rastgele kapatmak
Senin sıran

dropout(h, p, training, rng) yaz: eğitimde her elemanı p olasılıkla sıfırla ve hayatta kalanları 1 / (1 - p) ile ölçekle; aksi halde h'yi değiştirmeden döndür. Tutma maskesi olarak rng.random(h.shape) >= p kullan.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.