Bias dan varians, serta weight decay sebagai prior
Kenapa ini penting Overfitting muncul sebagai celah: error training jauh di bawah error pada data baru. Dua penyebab terukur ada di balik setiap celah seperti itu, dan mereka butuh penanganan yang berbeda.
Ambil lima set pelatihan baru dari sumber yang sama dan latih model jenis yang sama pada masing-masing set. Lihat lima prediksi pada satu titik:
- Jika semuanya setuju tapi semuanya salah dengan cara yang sama: high bias (terlalu sederhana).
- Jika mereka sangat berbeda satu sama lain: varians tinggi (terlalu fleksibel, mengejar noise dari setiap set).
Variance adalah seberapa besar model berubah saat data pelatihan berubah. Varians tinggi biasanya menjadi penyebab overfitting, tapi kedua kata tersebut bukan hal yang sama: overfitting adalah celah yang kamu lihat, variance adalah salah satu hal yang bisa kamu ukur di baliknya.
Weight decay sebagai prior
Weight decay menambahkan alpha * (sum of weights squared) ke loss. Dalam istilah probabilitas, ini berarti sebelum melihat data, "Aku percaya bobot kecil lebih mungkin". Keyakinan itu menarik kecocokan liar ke arah yang lebih tenang dan menurunkan varians, dengan konsekuensi sedikit bias. Untuk fitting polinomial, ia punya solusi tepat yang disebut ridge regression: w = solve(A.T A + alpha I, A.T y), di mana A menampung pangkat dari x.
Prior: apa yang kamu yakini tentang weights sebelum melihat data. Weight decay adalah prior yang mendukung weights kecil.
Kata dan simbol di pelajaran ini
- overfitting, underfitting
- cocok dengan noise di data training; atau terlalu sederhana untuk mencocokkan pola
- bias, varians
- salah dengan cara yang sama setiap saat; atau berubah banyak dengan data pelatihan
- prior
- apa yang kamu yakini tentang weights sebelum melihat data
- ridge (alpha)
- least squares dengan weight decay kekuatan alpha
Tulis ridge_poly(x, y, deg, alpha) yang mengembalikan koefisien (pangkat terendah dulu, pakai rumus di atas), dan spread_at_half(deg, alpha): fit lima set pelatihan (seed 0 sampai 4, masing-masing 20 titik, dibuat oleh make_set) dan kembalikan standar deviasi dari lima prediksi di x = 0.5. Lalu atur high_variance ke derajat 1, 3, atau 12 (alpha 0) yang punya sebaran terbesar.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.