Müfredat 246 dersinden 91. · Modül 7: Yeni veri üzerinde çalışmak
Modül 7: Yeni veri üzerinde çalışmak

Çifte iniş

Neden önemli "Daha fazla parametre daha fazla aşırı uyum demektir" ders kitabı kuralı büyük modeller için bozulur. Nedenini görmek model boyutu hakkında düşünme biçimini değiştirir.

Gör

Animasyonu oynat. Mevcut 400 özelliğin yalnızca ilk p tanesini kullanarak 40 eğitim noktasına oturtuyoruz, tam uyumlar arasından en küçük ağırlıklı olanı seçerek. p eğitim noktası sayısına (40) doğru büyüdükçe test hatası önce yavaşça, sonra dikçe, tam ikisinin eşit olduğu yerde bir tepeye tırmanır. Orada modelin her eğitim noktasına isabet etmek için tam yetecek özgürlüğü ve bunu yapmanın genellikle çılgın olan tek bir yolu vardır. Tepeden sonra birçok tam uyum vardır ve en küçük ağırlıklı olanı seçmek yumuşak bir uyumdur: test hatası yeniden düşer, ve yeterince özellikle küçük modellerden daha düşük biter.

İnterpolasyon eşiği: modelin eğitim verisine tam olarak oturmaya ancak yettiği model boyutu. Çifte iniş orada tepe yapar.

Eğriyi Tahmin Et: en yüksek test hatasına sahip özellik sayısını, ve p = 400'ün p = 5'i geçip geçmediğini tahmin et.

Sayıları dürüstçe oku

Bu oyuncak eğrinin şeklini göstermek için kurulmuş, iyi tahmin etmek için değil. Sinyali 400 özelliğin hepsine ince ince yayılmış ve yalnızca 40 eğitim noktası var, bu yüzden buradaki her model zayıf: her şey için 0 tahmin etmek yaklaşık 1.01 medyan test hatası alıyor, p = 5 yaklaşık 1.11 ve p = 400 yaklaşık 0.91 alıyor. p = 40'taki tepe yaklaşık 36. İkinci iniş gerçek, ama "hiçbir şey tahmin etme"nin yalnızca biraz altına iniyor.

Tepenin zaten bildiğin bir ilacı da var. En küçük ağırlıklı tam uyum yerine, gücü doğrulama verisinde seçilmiş ağırlık azaltma (ridge), p = 40 dahil her boyutta hatayı 1.0 civarında tutar (yaklaşık 1.02). Çifte iniş tam uyumlara olan şeydir; ayarlanmış bir düzenleyici sıçramayı kaldırır.

Bu dersteki kelimeler ve semboller
aşırı uyum, yetersiz uyum
eğitim verisindeki gürültüye uymak; ya da kalıba uymak için fazla basit olmak
ridge (alpha)
alpha gücünde ağırlık azaltmalı en küçük kareler
interpolasyon eşiği
eğitim verisine tam olarak oturmaya ancak yeten model boyutu
Senin sıran

my_peak ve my_400_beats_5 doldur. Sonra test_error(p) yaz: 0'dan 19'a tohumlar için np.linalg.pinv(X[:, :p]) @ y ile oturt, test ortalama kare hatasını ölç ve tohumlar üzerinden medyanı döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.