Müfredat 246 dersinden 226. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Grokking: önce ezberle, sonra anla

Neden önemli Power vd. (2022) bir ağın mükemmel eğitim doğruluğuna ulaştığını, test verisinde uzun süre şans seviyesinde kaldığını, sonra aniden genelleştiğini gördü. İçeriye bakmanın kayıp eğrisinin açıklayamadığı bir şeyi açıkladığı en net durumdur.

Görev: a + b mod 23 (23'e bölündükten sonra kalan; yani 20 + 5, 2'dir). 23 × 23 = 529 toplam var; model rastgele bir yarısında eğitilir ve diğer yarısında test edilir. Her sayı 32'lik bir gömme alır; iki gömme 128'lik bir ReLU katmanından geçer ve 23 puana çıkar. Her adımda bütün yarıda, AdamW ile (Modül 5) eğitilir.

Onu 1.500 adım canlı eğit, sonra kursun kaydedilmiş 40.000 adımlık çalıştırmalarını oku (her biri bir dizüstünde yaklaşık 11 saniye, bir ders için çok uzun), ağırlık bozunumu 3 ile ve hiç olmadan.

Önce tahmin et: 1.500 adımdan sonra eğitim doğruluğu %100 olacak. Test doğruluğu ne olacak?

Bu dersteki kelimeler ve semboller
grokking
eğitim doğruluğu mükemmel olduktan çok sonra test doğruluğunun yükselmesi
Senin sıran

my_guess değerini "near 0", "near 50%" ya da "near 100%" olarak ayarla. 1.500 adım eğit ve live'ı (eğitim doğruluğu, test doğruluğu) ile doldur. runs = interp.recorded()['grok']'tan, her çalıştırmanın 'curve''ünde (adım, eğitim doğruluğu, test doğruluğu, ilk 3 payı) satırları var: half_way'i ağırlık bozunumu 3 ile test doğruluğunun 0.5'e ulaştığı ilk adıma, ve final_test'i her çalıştırmanın son test doğruluğuna ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.