Silabus Pelajaran 232 dari 246 · Modul 22: Menilai klaim
Modul 22: Menilai klaim

Satu benih adalah sebuah anekdot

Kenapa ini penting Melatih model yang sama dua kali dengan random seeds yang berbeda memberikan hasil yang berbeda. Perbedaan antara dua model yang lebih kecil dari rentang tersebut bukan sebuah hasil, dan satu kali jalan tidak bisa memberitahumu seberapa besar rentangnya.

A klaim: "pada 8,000 token, width 1024 mengalahkan width 512", didukung oleh satu kali jalan masing-masing (seed 0: 2.793 melawan 2.799). Kursus ini mencatat 3 seed untuk masing-masing.

Aturan sederhana untuk "A mengalahkan B" dengan beberapa seed masing-masing: ambil selisih rata-ratanya, dan standard error (seberapa besar selisih itu akan berubah jika kamu menjalankan ulang seed), sqrt(var(A) / nA + var(B) / nB)dengan varians sampel (ddof=1). Tampilkan jika selisihnya lebih dari 2 standard error. judge.standard_error(a, b)Menghitungnya.

Prediksi dulu: dengan tiga seed, apakah width 1024 masih mengalahkan 512 pada 8,000 token?

Kata dan simbol di pelajaran ini
seed
angka yang menentukan pilihan acak sebuah run; seed lain memberikan hasil lain
kesalahan standar
seberapa besar perbedaan yang terukur akan berubah jika seed dijalankan ulang
Giliranku

Atur my_guess ke "yes" atau "no". Untuk 8,000 dan 1,500,000 token, isi diff[tokens] (rata-rata loss lebar 512 dikurangi rata-rata loss lebar 1024: positif berarti 1024 lebih baik) dan two_se[tokens]. Atur verdict[tokens] ke "shown" atau "not shown".

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.