Silabus Pelajaran 91 dari 246 · Modul 7: Bekerja dengan data baru
Modul 7: Bekerja dengan data baru

Double descent

Kenapa ini penting Aturan buku teks "lebih banyak parameter berarti lebih banyak overfitting" tidak berlaku untuk model besar. Memahami alasannya akan mengubah cara kamu berpikir tentang ukuran model.

Lihat sendiri

Mainkan animasinya. Kita mencocokkan 40 titik pelatihan menggunakan hanya p pertama dari 400 fitur yang tersedia, memilih di antara kecocokan tepat yang memiliki bobot terkecil. Saat p tumbuh menuju jumlah titik pelatihan (40), kesalahan uji naik, perlahan lalu curam, ke puncak tepat di mana keduanya sama. Di sana model punya kebebasan yang cukup untuk mengenai setiap titik pelatihan, dan hanya satu cara untuk melakukannya, biasanya cara yang liar. Melewati puncak, ada banyak kecocokan tepat dan memilih yang bobot terkecil adalah kecocokan yang halus: kesalahan uji turun lagi, dan dengan fitur yang cukup itu berakhir lebih rendah daripada model kecil.

Ambang interpolasi: ukuran model di mana ia bisa menyesuaikan data pelatihan dengan tepat. Puncak double descent ada di sana.

Tebak Kurvanya: prediksi jumlah fitur dengan error tes tertinggi, dan apakah p = 400 mengalahkan p = 5.

Baca angka dengan jujur

Mainan ini dibuat untuk menunjukkan bentuk kurva, bukan untuk prediksi yang akurat. Sinyalnya tersebar tipis di semua 400 fitur dan hanya ada 40 titik pelatihan, jadi setiap model di sini buruk: memprediksi 0 untuk semuanya menghasilkan skor median error tes sekitar 1.01, p = 5 mendapat skor sekitar 1.11 dan p = 400 sekitar 0.91. Puncak pada p = 40 adalah sekitar 36. Penurunan kedua itu nyata, tapi hanya sedikit di bawah "tidak memprediksi apa pun".

Puncaknya juga punya obat yang sudah kamu tahu. Weight decay (ridge) dengan kekuatan yang dipilih dari data validasi, alih-alih exact fit dengan bobot terkecil, menjaga error tetap di dekat 1.0 pada setiap ukuran, termasuk p = 40 (sekitar 1.02). Double descent adalah apa yang terjadi pada exact fits; regulariser yang sudah diatur akan menghilangkan lonjakan tersebut.

Kata dan simbol di pelajaran ini
overfitting, underfitting
cocok dengan noise di data training; atau terlalu sederhana untuk menyesuaikan pola
ridge (alpha)
least squares dengan weight decay kekuatan alpha
ambang interpolasi
ukuran model yang bisa pas dengan data pelatihan secara tepat
Giliranku

Isi my_peak dan my_400_beats_5. Lalu tulis test_error(p): untuk seed 0 sampai 19, lakukan fit dengan np.linalg.pinv(X[:, :p]) @ y, ukur rata-rata galat kuadrat pada data uji, dan kembalikan median dari semua seed.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.