Silabus Pelajaran 202 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Mencocokkan power law dengan floor

Kenapa ini penting "Lebih besar lebih baik" tidak berguna untuk perencanaan. "Loss turun seiring bobot pangkat -0.5, menuju batas bawah 1.6" memungkinkan kamu memberi angka pada run yang belum kamu bayar. Mendapatkan angka itu, dan seberapa yakin kamu terhadapnya, adalah keahliannya.

Bentuk yang paling cocok untuk data penskalaan:

loss = E + A N^(-alpha)

N adalah jumlah bobot, alpha adalah exponent (seberapa cepat ia meningkat), dan E adalah floor: kerugian yang tidak bisa dikalahkan oleh model apa pun dari keluarga ini pada data ini. Sebagian disebabkan oleh teks yang tidak terprediksi; sebagian lagi adalah batasan keluarga itu sendiri (model ini hanya melihat 8 karakter ke belakang). Keluarga yang berbeda, misalnya yang membaca lebih jauh ke belakang, punya floor yang lebih rendah. Tanpa floor, kecocokan pada model kecil melebih-lebihkan seberapa banyak yang didapat model besar.

Cara mencocokkannya: untuk setiap kandidat floor E antara 0 dan sedikit di bawah loss terkecil, ambil log, log(loss - E) = log A - alpha log N, yang merupakan garis lurus, dan cocokkan dengan least squares. Simpan E yang kurvanya memiliki squared error terkecil pada loss itu sendiri.

Error bars: ada 3 seed untuk setiap ukuran. Lakukan Refit berkali-kali, setiap kali pilih satu seed secara acak untuk setiap ukuran (sebuah bootstrap), dan lihat penyebaran alpha. Perhatikan scenenya: titik yang sama, kurva fitted dengan dan tanpa floor, serta band dari bootstrap fits.

Kata dan simbol di pelajaran ini
hukum pangkat
y = A x^-alpha: garis lurus pada sumbu log-log
exponent (alpha, beta)
seberapa cepat loss turun dengan lebih banyak weights (alpha) atau lebih banyak data (beta)
lantai (E)
kerugian yang tidak bisa dikalahkan oleh model mana pun pada data ini
token
di sini, satu prediksi: satu karakter
bootstrap
refitting pada data yang di-resample untuk melihat seberapa jauh angka yang sudah difit akan berubah
Giliranku

Tulis fit(N, loss) yang mengembalikan (E, A, alpha) seperti yang dijelaskan (400 kandidat lantai dari 0 sampai 0.999 x kerugian terkecil). Masukkan jalannya 1,5 juta token (satu rata-rata per lebar) ke dalam main, lalu jalankan 100 bootstrap refit dan atur interval ke persentil ke-5 dan ke-95 dari alpha.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.