Kapı sınavı: bir eğitim çalıştırması planla (yapay zekâ kapalı)
Neden önemli Ölçekleme yasalarının var olma nedeni bu karardır: bir bütçen ve tek bir şansın var. Onu kanıta göre planla.
Kapı sınavı kuralları: yapay zekâ öğretmeni kapalı. Kursun karakter modelinin tek bir çalıştırması için, ızgarayla aynı metin üzerinde 3 x 10^10 FLOP'un var. Bir genişlik (bir 2 kuvveti) ve bütçenin sonra izin verdiği token sayısını seç. Kaydedilmiş ızgarayı istediğin gibi kullan: uyumlar, tablolar, ikisi.
Kontrol seçiminin ve mümkün olan en iyi seçimin kaybını kursun iki değişkenli uyumuyla tahmin eder, ve seninki en iyinin 0.02 yakınında olduğunda ve bütçeyi harcadığında (%1 içinde) geçirir.
Bu dersteki kelimeler ve semboller
- ölçekleme yasası
- ağırlıklar, veri ya da hesaplama büyüdükçe kaybın nasıl düştüğü, genellikle bir tabana doğru bir kuvvet yasası
- token
- burada, bir tahmin: bir karakter
- FLOP (6 N D)
- eğitim maliyeti: ağırlık başına token başına yaklaşık 6 işlem
width ve tokens'ı ayarla.
AI kapalı: bu ödevde eğitmen, ipucu veya çözümlü örnek yok. Sadece kendi düşüncen.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.