Himpunan tes yang sudah dilihat model
Kenapa ini penting Model besar dilatih menggunakan sebagian besar internet publik, dan set pengujian publik ada di internet. Saat item pengujian bocor ke dalam pelatihan, skor naik karena alasan yang tidak ada hubungannya dengan keahlian, dan makalah yang melaporkannya mungkin tidak akan pernah tahu.
A kumpulan data uji publik berisi 120 teks untuk kursus GPT. Penulisnya bilang itu ditulis secara terpisah. Sebagian sebenarnya disalin dari teks pelajaran kursus, yang menjadi bahan pelatihan GPT.
A standar pengecekan: potong setiap bagian menjadi potongan 13 karakter dan cari di teks pelatihan. Bagian yang ditulis terpisah hanya berbagi sedikit potongan panjang secara kebetulan; yang disalin berbagi semuanya. judge.overlap(p) memberikan bagian potongan sebuah bagian yang ditemukan di teks pelatihan, dan judge.losses(model, passages) adalah loss model pada setiap bagian.
Prediksi dulu: apakah menghapus bagian yang bocor akan membuat loss yang dilaporkan jadi lebih baik atau lebih buruk?
Kata dan simbol di pelajaran ini
- kontaminasi (kebocoran)
- item uji yang juga ada di data pelatihan
Atur my_guess ke "better" atau "worse". Isi reported (rata-rata loss dari semua 120), leaked (daftar True/False, overlap di atas 0.5), clean (rata-rata loss dari bagian yang tidak bocor) dan leaked_loss.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.