Daha geniş modeller daha küçük adımlar ister
Neden önemli Küçük bir model için çalışan öğrenme oranı daha büyük birini mahvedebilir. Büyük modeller eğiten ekipler bunu öğrenmek için gerçek para harcar; sen bunu kaydedilmiş çalıştırmalardan okuyabilirsin.
Kaydedilmiş gpt-width-lr deneyi minicik GPT'yi 32, 64 ve 128 genişliklerinde, her biri 0.001, 0.003 ve 0.01 öğrenme oranlarıyla, 2.000 adım, her biri üç tohumla eğitti, ve sonunda ayrılmış metindeki kaybı ölçtü.
Bakmadan önce tahmin et: en geniş model, 128, için hangi öğrenme oranı en iyi?
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
my_guess değerini 0.001, 0.003 ya da 0.01'den birine ayarla, sonra mean_loss'u doldur: (width, lr)'den üç tohum üzerindeki ortalama son ayrılmış veri kaybına (exp.seeds(d=..., lr=...) üç çalıştırmayı verir; her çalıştırmanın son ayrılmış veri kaybı run.val_loss[-1][1]'dir). Sonra best_lr'yi doldur: genişlikten en düşük ortalamaya sahip öğrenme oranına.
Sonra hangi ayarların gerçekten farklı olduğunu söylemek için Modül 9'un gürültü kuralını kullan. Her birinde üç tohumla, iki ortalama yalnızca aradaki fark yaklaşık 2 × s × sqrt(2/3)'ten fazlaysa gerçekten farklıdır; burada s iki ayarın tohum yayılımlarından büyük olanıdır (üç değerin np.std'si). Daha yakın olan her şey beraberliktir.
ties'ı ayarla: genişlikten o genişliğin en iyisiyle berabere kalan öğrenme oranlarının listesine (en iyi dahil).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.