Silabus Pelajaran 241 dari 246 · Modul 23: Capstone studio: kartu model yang bisa kamu jalankan
Modul 23: Capstone studio: kartu model yang bisa kamu jalankan

Evaluasi held-out, dengan error bars

Kenapa ini penting Setiap pilihan yang kamu buat melihat skor validasi, jadi sekarang hasilnya agak optimis. Satu evaluasi pada data yang tidak pernah kamu lihat, dengan error bars, adalah angka yang bisa kamu laporkan.

Pilih pengaturan FINAL dari hasil ablasi kamu, maksimal 4 biaya baseline. Latih dengan seed 0. Lalu beri skor sekali pada hidden test set: track.score(model, hidden=True, per_item=True) memberikan satu angka per item tes, dan studio.interval(items) memberikan rata-rata dan interval bootstrap 95%.

Himpunan tersembunyi dikirim di dalam halaman ini, jadi itu tersembunyi, bukan tersegel: kamu bisa melihatnya. Sertifikat kursus ini tidak bergantung pada kerahasiaannya; kartumu iya, jadi lihat sekali, di akhir.

Nilai lulus (rencana default menghapus keduanya): bahasa, rata-rata minimal -2.72; gambar, minimal 0.42.

Kata dan simbol di pelajaran ini
baseline
dasar jalannya setiap perubahan diukur terhadap, pada seed yang sama
ablation
one ubah ke baseline, jalankan di beberapa seed, untuk lihat apa yang terjadi
himpunan uji tersembunyi
data dinilai sekali, di akhir, setelah setiap pilihan dibuat
Giliranku

Atur FINAL, latih final, dan isi validation (skor validasinya), hidden (rata-rata, rendah, tinggi) dan gap (validasi dikurangi rata-rata tersembunyi).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.