Müfredat 246 dersinden 154. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Daha geniş modeller daha küçük adımlar ister

Neden önemli Küçük bir model için çalışan öğrenme oranı daha büyük birini mahvedebilir. Büyük modeller eğiten ekipler bunu öğrenmek için gerçek para harcar; sen bunu kaydedilmiş çalıştırmalardan okuyabilirsin.

Kaydedilmiş gpt-width-lr deneyi minicik GPT'yi 32, 64 ve 128 genişliklerinde, her biri 0.001, 0.003 ve 0.01 öğrenme oranlarıyla, 2.000 adım, her biri üç tohumla eğitti, ve sonunda ayrılmış metindeki kaybı ölçtü.

Bakmadan önce tahmin et: en geniş model, 128, için hangi öğrenme oranı en iyi?

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
Senin sıran

my_guess değerini 0.001, 0.003 ya da 0.01'den birine ayarla, sonra mean_loss'u doldur: (width, lr)'den üç tohum üzerindeki ortalama son ayrılmış veri kaybına (exp.seeds(d=..., lr=...) üç çalıştırmayı verir; her çalıştırmanın son ayrılmış veri kaybı run.val_loss[-1][1]'dir). Sonra best_lr'yi doldur: genişlikten en düşük ortalamaya sahip öğrenme oranına.

Sonra hangi ayarların gerçekten farklı olduğunu söylemek için Modül 9'un gürültü kuralını kullan. Her birinde üç tohumla, iki ortalama yalnızca aradaki fark yaklaşık 2 × s × sqrt(2/3)'ten fazlaysa gerçekten farklıdır; burada s iki ayarın tohum yayılımlarından büyük olanıdır (üç değerin np.std'si). Daha yakın olan her şey beraberliktir.

ties'ı ayarla: genişlikten o genişliğin en iyisiyle berabere kalan öğrenme oranlarının listesine (en iyi dahil).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.