Müfredat 246 dersinden 202. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Tabanlı bir kuvvet yasası uydurmak

Neden önemli "Daha büyük daha iyidir" planlama için işe yaramaz. "Kayıp, 1.6'lık bir tabana doğru, ağırlıklar üssü -0.5 olarak düşer" parasını ödemediğin bir çalıştırmaya bir sayı koymanı sağlar. O sayıyı elde etmek, ve ondan ne kadar emin olduğun, beceridir.

Çoğu ölçekleme verisine uyan şekil:

loss = E + A N^(-alpha)

N ağırlık sayısı, alpha üs (ne kadar hızlı iyileştiği), ve E tabandır: bu ailenin hiçbir modelinin bu veride geçemeyeceği kayıp. Bir kısmı metnin öngörülemez olmasıdır; bir kısmı ailenin kendi sınırıdır (bu model yalnızca 8 karakter geriye bakar). Farklı bir aile, diyelim daha geriye okuyan biri, daha düşük bir tabana sahiptir. Taban olmadan küçük modeller üzerindeki bir uyum büyüklerin ne kadar kazandığını abartır.

Nasıl uydurulur: 0 ile en küçük kaybın biraz altı arasındaki her aday E tabanı için logaritma al, log(loss - E) = log A - alpha log N, bu düz bir çizgidir, ve onu en küçük karelerle uydur. Eğrisi kayıpların kendisinde en küçük kare hataya sahip E'yi tut.

Hata çubukları: boyut başına 3 tohum var. Her seferinde her boyut için rastgele bir tohum seçerek birçok kez yeniden uydur (bir bootstrap), ve alpha'nın yayılımına bak. Sahneyi izle: aynı noktalar, tabanlı ve tabansız uydurulmuş eğri, ve bootstrap uyumlarının bandı.

Bu dersteki kelimeler ve semboller
kuvvet yasası
y = A x^-alpha: log-log eksenlerinde düz bir çizgi
üs (alpha, beta)
daha fazla ağırlıkla (alpha) ya da daha fazla veriyle (beta) kaybın ne kadar hızlı düştüğü
taban (E)
bu veride hiçbir modelin geçemeyeceği kayıp
token
burada, bir tahmin: bir karakter
bootstrap
uydurulmuş bir sayının ne kadar oynayacağını görmek için yeniden örneklenmiş veri üzerinde yeniden uydurmak
Senin sıran

Anlatıldığı gibi (E, A, alpha) döndüren fit(N, loss) yaz (0'dan 0.999 × en küçük kayba 400 aday taban). 1.5 milyon tokenlik çalıştırmaları (genişlik başına bir ortalama) main'e uydur, sonra 100 bootstrap yeniden uydurması çalıştır ve interval'ı alpha'nın 5. ve 95. yüzdeliğine ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.