Ağırlıklar, veri, ya da hesaplama: onu ne geri tutuyor?
Neden önemli Yanlış şeye daha fazla harcamak hiçbir şey satın almaz. Veriden yoksun bir model büyütüldüğünde iyileşmez; minicik bir model daha fazla beslendiğinde iyileşmez. Izgara, nereye bakacağını bilirsen ikisini de gösterir.
Izgaranın bir satırı boyunca (bir genişlik, gittikçe daha fazla veri) ve bir sütunu boyunca (bir veri miktarı, gittikçe daha geniş modeller) bak.
Bir çalıştırma, o veri miktarında modeli genişletmek pek yardım etmediğinde (ya da zarar verdiğinde) veri sınırlıdır. O genişlikte daha fazla veri pek yardım etmediğinde model sınırlıdır.
Bu dersteki kelimeler ve semboller
- token
- burada, bir tahmin: bir karakter
- veri sınırlı, model sınırlı
- daha fazla genişlik ya da daha fazla verinin pek yardım etmediği durum
gain_wider'ı doldur: 8.000 token ve 1.5 milyon token için 256 genişlikten 1024 genişliğe kayıp düşüşü. gain_more_data'yı doldur: 2 genişlik ve 1024 genişlik için 512.000'den 1.5 milyon tokene kayıp düşüşü. Sonra iki köşe için verdict'i ayarla: "data-limited" ya da "model-limited".
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.