Müfredat 246 dersinden 207. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Kapı sınavı: bir eğitim çalıştırması planla (yapay zekâ kapalı)

Neden önemli Ölçekleme yasalarının var olma nedeni bu karardır: bir bütçen ve tek bir şansın var. Onu kanıta göre planla.

Kapı sınavı kuralları: yapay zekâ öğretmeni kapalı. Kursun karakter modelinin tek bir çalıştırması için, ızgarayla aynı metin üzerinde 3 x 10^10 FLOP'un var. Bir genişlik (bir 2 kuvveti) ve bütçenin sonra izin verdiği token sayısını seç. Kaydedilmiş ızgarayı istediğin gibi kullan: uyumlar, tablolar, ikisi.

Kontrol seçiminin ve mümkün olan en iyi seçimin kaybını kursun iki değişkenli uyumuyla tahmin eder, ve seninki en iyinin 0.02 yakınında olduğunda ve bütçeyi harcadığında (%1 içinde) geçirir.

Bu dersteki kelimeler ve semboller
ölçekleme yasası
ağırlıklar, veri ya da hesaplama büyüdükçe kaybın nasıl düştüğü, genellikle bir tabana doğru bir kuvvet yasası
token
burada, bir tahmin: bir karakter
FLOP (6 N D)
eğitim maliyeti: ağırlık başına token başına yaklaşık 6 işlem
Senin sıran

width ve tokens'ı ayarla.

AI kapalı: bu ödevde eğitmen, ipucu veya çözümlü örnek yok. Sadece kendi düşüncen.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.