Silabus Pelajaran 230 dari 246 · Modul 22: Menilai klaim
Modul 22: Menilai klaim

Rata-rata yang lebih baik, keahlian yang sama

Kenapa ini penting "Model kita punya loss lebih rendah" adalah klaim paling umum dalam language modelling. Loss adalah rata-rata dari setiap prediksi, dan rata-rata bisa membaik tanpa bagian yang kamu pedulikan sama sekali membaik.

Kursus ini mencatat dua GPT yang dilatih dengan cara yang sama, lebar 32 dan 64. Yang lebih lebar punya loss yang lebih rendah. Tapi prediksi tidak semuanya sama: menyelesaikan kata yang sudah kamu mulai ("gradi" lalu "e") itu mudah; memilih huruf pertama dari next kata adalah memilih apa yang akan dikatakan selanjutnya, dan itu sulit.

judge.per_position(model, X, Y) memberikan loss untuk setiap prediksi. Hitung rata-ratanya untuk semua posisi, untuk huruf pertama dari kata, dan untuk sisa dari setiap kata.

Prediksi dulu: apakah model yang lebih luas jadi lebih pintar memilih kata berikutnya?

Kata dan simbol di pelajaran ini
seed
angka yang menentukan pilihan acak sebuah run; seed lain memberikan hasil lain
Giliranku

Atur my_guess ke "yes" atau "no". Isi loss[width] dengan dict dari 'all', 'first letter' dan 'inside word' untuk lebar 32 dan 64. Atur gain_from ke jenis posisi ("first letter" atau "inside word") tempat keuntungan model yang lebih lebar berasal.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.