Müfredat 246 dersinden 206. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Gerçek sıçramalar mı, yoksa metriğin bir hilesi mi?

Neden önemli Manşetler büyük modellerin bir boyutta aniden yetenek kazandığını söyler: "ortaya çıkış". Bazen sıçrama gerçektir. Çoğu zaman yetenek baştan beri düzgünce gelişmiştir ve metrik onu ani gösterir (Schaeffer, Miranda ve Koyejo, 2023). Hangisinin hangisi olduğunu bilmek onu tahmin edip edemeyeceğine karar verir.

Izgara aynı ayrılmış metin üzerinde iki puan kaydetti:

  • Karakter başına doğruluk p: modelin bir sonraki karakter için en iyi tahmininin doğru olduğu konumların payı. Boyutla düzgünce yükselir, 1.5 milyon tokende 0.27'den 0.53'e.
  • 5'i de doğru: sonraki 5 karakteri hiç hatasız yazdığı konumların payı. Hep ya da hiç.

Her karakter bağımsız olarak p olasılıkla doğru olsaydı, art arda beşi zamanın p^5'inde doğru olurdu. Önce bunu ızgaraya karşı kontrol et. Sonra üssün eşit gelişen bir beceriye ne yaptığını gör. Bu küçük modeller tam etkiyi göstermeye yetecek kadar ileri gitmez, bu yüzden ikinci kısım bir ölçüm değil, açıkça etiketlenmiş bir örnektir: on eşit adımda 0.5'ten 0.95'e yükselen bir karakter başına doğruluk.

Bu dersteki kelimeler ve semboller
üs (alpha, beta)
daha fazla ağırlıkla (alpha) ya da daha fazla veriyle (beta) kaybın ne kadar hızlı düştüğü
token
burada, bir tahmin: bir karakter
ortaya çıkış
bir boyutta aniden beliriyor gibi görünen bir yetenek; bazen hep ya da hiç bir metrik tarafından yaratılır
Senin sıran

pairs'ı doldur: 1.5 milyon tokende her genişlik için (p, p^5, ölçülmüş 5'i de doğru). Sonra örnek için all10'u p_even için p^10'a, ve late_share'i all10'un toplam yükselişinin 10 adımın son 3'ünde olan payına ayarla. Son olarak case'i ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.