Evaluasi held-out, dengan error bars
Kenapa ini penting Setiap pilihan yang kamu buat melihat skor validasi, jadi sekarang hasilnya agak optimis. Satu evaluasi pada data yang tidak pernah kamu lihat, dengan error bars, adalah angka yang bisa kamu laporkan.
Pilih pengaturan FINAL dari hasil ablasi kamu, maksimal 4 biaya baseline. Latih dengan seed 0. Lalu beri skor sekali pada hidden test set: track.score(model, hidden=True, per_item=True) memberikan satu angka per item tes, dan studio.interval(items) memberikan rata-rata dan interval bootstrap 95%.
Himpunan tersembunyi dikirim di dalam halaman ini, jadi itu tersembunyi, bukan tersegel: kamu bisa melihatnya. Sertifikat kursus ini tidak bergantung pada kerahasiaannya; kartumu iya, jadi lihat sekali, di akhir.
Nilai lulus (rencana default menghapus keduanya): bahasa, rata-rata minimal -2.72; gambar, minimal 0.42.
Kata dan simbol di pelajaran ini
- baseline
- dasar jalannya setiap perubahan diukur terhadap, pada seed yang sama
- ablation
- one ubah ke baseline, jalankan di beberapa seed, untuk lihat apa yang terjadi
- himpunan uji tersembunyi
- data dinilai sekali, di akhir, setelah setiap pilihan dibuat
Atur FINAL, latih final, dan isi validation (skor validasinya), hidden (rata-rata, rendah, tinggi) dan gap (validasi dikurangi rata-rata tersembunyi).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.