Müfredat 246 dersinden 205. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Daha büyük bir çalıştırmayı tahmin et, sonra onu gör

Neden önemli Yalnızca sahip olduğun çalıştırmaları tarif eden bir uyum bir özettir. Sahip olmadığın bir çalıştırmayı tahmin eden bir uyum bir yasadır, en azından şimdilik. İşte test.

Kurs ızgara bittikten sonra bir boyut daha eğitti: 2048 genişlik, yaklaşık 375.000 ağırlık, ızgaradaki en büyüğün iki katı, tam 1.5 milyon token üzerinde, 3 tohum. Kaybını görmedin.

Onu tahmin etmek için 3. dersteki kuvvet yasasını kullan (her seferinde bir genişlik, 1.5 milyon token). Sayıyı koda bağla, sonra kaydedilmiş sonucu aç.

Bu dersteki kelimeler ve semboller
kuvvet yasası
y = A x^-alpha: log-log eksenlerinde düz bir çizgi
token
burada, bir tahmin: bir karakter
Senin sıran

1.5 milyon tokenlik ızgarayı scaling.fit_power_law ile uydur, 2048 genişlik (scaling.params_of(2048) ağırlık) için prediction'ı ayarla, sonra actual'ı (scaling.recorded_bigger()'ın ortalaması) ve error'ı ayarla. better_than_my_gut'ı ayarlayarak onu 1. dersteki iç güdü hatanla karşılaştır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.