Sabit bir bütçenin en iyi kullanımı
Neden önemli Sabit bir C hesaplama bütçesiyle daha büyük bir model daha az token görür (C = 6 N D). Fazla büyüğü aç kalır; fazla küçüğü bütçe bitmeden dolar. 2022'de bu hesap ("Chinchilla" makalesi) o günün büyük modellerinin çoğunun eğitildikleri veri için çok fazla büyük olduğunu gösterdi.
İki etkiyi aynı anda uydur:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d onu 150 çalıştırmanın hepsine uydurur. Sonra bir C bütçesi için her N genişliği D = C / (6 N)'yi sabitler, ve formül kaybı tahmin eder: en düşük tahmine sahip genişliği seç. scaling.params_of(width) bir genişliğin ağırlıklarını verir.
Alan şu an nerede Hoffmann vd. (2022, "Chinchilla") bu aynı iki değişkenli biçimi büyük dil modellerine uydurdu ve hesaplama açısından en iyi bölünmeyi ağırlık başına yaklaşık 20 eğitim tokeninde buldu. Laboratuvarlar artık çoğu zaman onun epey ötesinde eğitiyor (daha küçük bir model için çok daha fazla token), çünkü daha küçük bir model her cevap verdiğinde daha ucuzdur: eğitim için hesaplama açısından en iyi olan kullanım için en iyi değildir. Ve bir modeli genişlettiklerinde başlangıç ağırlıklarını ve katman başına öğrenme oranlarını yeniden ölçeklerler (muP, Yang vd. 2022), böylece küçük bir modelde bulunan en iyi öğrenme oranı büyüğünde de çalışır: Modül 13'ün "daha geniş modeller daha küçük adımlar ister" dersinin ölçtüğü sorun.
Bu dersteki kelimeler ve semboller
- üs (alpha, beta)
- daha fazla ağırlıkla (alpha) ya da daha fazla veriyle (beta) kaybın ne kadar hızlı düştüğü
- token
- burada, bir tahmin: bir karakter
- FLOP (6 N D)
- eğitim maliyeti: ağırlık başına token başına yaklaşık 6 işlem
- hesaplama açısından en iyi
- sabit bir bütçenin model boyutu ve veri arasında en düşük kaybı veren bölünmesi
Izgarayı f'ye uydur. En düşük tahmin edilen kayba sahip genişliği (2'den 4096'ya bir 2 kuvveti) döndüren plan(f, budget) yaz. choice'u 1e9, 1e10 ve 1e11 FLOP'luk bütçeler için doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.