Silabus Pelajaran 206 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Lompatan nyata, atau sekadar trik metrik?

Kenapa ini penting Judul berita bilang model besar tiba-tiba dapat kemampuan di ukuran tertentu: "emergence". Kadang lompatannya nyata. Seringkali kemampuan itu meningkat mulus sejak awal dan metric membuatnya terlihat tiba-tiba (Schaeffer, Miranda dan Koyejo, 2023). Tahu mana yang mana menentukan apakah kamu bisa memprediksinya.

Grid mencatat dua skor pada teks held-out yang sama:

  • Akurasi per karakter p: bagian dari posisi di mana tebakan teratas model untuk karakter berikutnya benar. Ini naik dengan mulus sesuai ukuran, 0.27 ke 0.53 pada 1.5 juta token.
  • Semua 5 benar: bagian posisi di mana ia menulis 5 karakter berikutnya tanpa kesalahan. Semua atau tidak sama sekali.

Jika setiap karakter benar dengan probabilitas p secara independen, lima karakter berurutan akan benar sebanyak p^5 kali. Cek itu ke grid dulu. Lalu lihat apa yang dilakukan eksponen pada skill yang meningkat secara merata. Model kecil ini tidak pernah cukup jauh untuk menunjukkan efek penuh, jadi bagian kedua adalah ilustrasi berlabel jelas, bukan pengukuran: akurasi per karakter yang naik dalam sepuluh langkah sama dari 0.5 ke 0.95.

Kata dan simbol di pelajaran ini
exponent (alpha, beta)
seberapa cepat loss turun dengan lebih banyak weights (alpha) atau lebih banyak data (beta)
token
di sini, satu prediksi: satu karakter
emergence
kemampuan yang seolah muncul tiba-tiba pada ukuran tertentu; terkadang dibuat oleh metrik all-or-nothing
Giliranku

Isi pairs: untuk setiap lebar pada 1,5 juta token, (p, p^5, diukur semua-5-kanan). Lalu untuk ilustrasi atur all10 ke p^10 untuk p_even, dan late_share ke bagian dari total kenaikan all10 yang terjadi di 3 langkah terakhir dari 10 langkah. Terakhir atur case.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.