Yanlılık ve varyans, ve bir önsel olarak ağırlık azaltma
Neden önemli Aşırı uyum bir fark olarak görünür: eğitim hatası yeni verideki hatanın çok altında. Böyle her farkın arkasında ölçülebilir iki neden durur, ve farklı ilaçlara ihtiyaç duyarlar.
Aynı kaynaktan beş yeni eğitim kümesi çek ve her birine aynı türde bir model oturt. Bir noktadaki beş tahmine bak:
- Hepsi uyuşuyor ama hepsi aynı şekilde yanlışsa: yüksek yanlılık (fazla basit).
- Birbirleriyle çılgınca uyuşmuyorlarsa: yüksek varyans (fazla esnek, her kümenin gürültüsünü kovalıyor).
Varyans, eğitim verisi değiştiğinde modelin ne kadar değiştiğidir. Yüksek varyans aşırı uyumun olağan nedenidir, ama iki kelime aynı şey değildir: aşırı uyum gördüğün farktır, varyans onun arkasında ölçebileceğin bir şeydir.
Bir önsel olarak ağırlık azaltma
Ağırlık azaltma kayba alpha * (sum of weights squared) ekler. Olasılık diliyle, veriyi görmeden önce "küçük ağırlıkların daha olası olduğuna inanıyorum" der. Bu inanç çılgın uyumları sakin olanlara doğru çeker ve biraz yanlılık pahasına varyansı düşürür. Polinom oturtmada sırt regresyonu denen kesin bir çözümü vardır: w = solve(A.T A + alpha I, A.T y), burada A x'in kuvvetlerini tutar.
Önsel: veriyi görmeden önce ağırlıklar hakkında inandığın şey. Ağırlık azaltma küçük ağırlıkları kayıran bir önseldir.
Bu dersteki kelimeler ve semboller
- aşırı uyum, yetersiz uyum
- eğitim verisindeki gürültüye uymak; ya da kalıba uymak için fazla basit olmak
- yanlılık, varyans
- her seferinde aynı şekilde yanılmak; ya da eğitim verisiyle çok değişmek
- önsel
- veriyi görmeden önce ağırlıklar hakkında inandığın şey
- ridge (alpha)
- alpha gücünde ağırlık azaltmalı en küçük kareler
Katsayıları döndüren ridge_poly(x, y, deg, alpha) (en düşük kuvvet önce, yukarıdaki formülü kullanarak) ve spread_at_half(deg, alpha) yaz: beş eğitim kümesine oturt (tohum 0'dan 4'e, her biri 20 nokta, make_set ile yapılmış) ve x = 0.5'teki beş tahminin standart sapmasını döndür. Sonra high_variance değerini 1, 3 ya da 12 derecelerden (alpha 0) en büyük yayılıma sahip olana ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.