Müfredat 246 dersinden 203. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Ağırlıklar, veri, ya da hesaplama: onu ne geri tutuyor?

Neden önemli Yanlış şeye daha fazla harcamak hiçbir şey satın almaz. Veriden yoksun bir model büyütüldüğünde iyileşmez; minicik bir model daha fazla beslendiğinde iyileşmez. Izgara, nereye bakacağını bilirsen ikisini de gösterir.

Izgaranın bir satırı boyunca (bir genişlik, gittikçe daha fazla veri) ve bir sütunu boyunca (bir veri miktarı, gittikçe daha geniş modeller) bak.

Bir çalıştırma, o veri miktarında modeli genişletmek pek yardım etmediğinde (ya da zarar verdiğinde) veri sınırlıdır. O genişlikte daha fazla veri pek yardım etmediğinde model sınırlıdır.

Bu dersteki kelimeler ve semboller
token
burada, bir tahmin: bir karakter
veri sınırlı, model sınırlı
daha fazla genişlik ya da daha fazla verinin pek yardım etmediği durum
Senin sıran

gain_wider'ı doldur: 8.000 token ve 1.5 milyon token için 256 genişlikten 1024 genişliğe kayıp düşüşü. gain_more_data'yı doldur: 2 genişlik ve 1024 genişlik için 512.000'den 1.5 milyon tokene kayıp düşüşü. Sonra iki köşe için verdict'i ayarla: "data-limited" ya da "model-limited".

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.