İçeride ne değişti: dalgalar
Neden önemli Nanda vd. (2023), modüler toplamayı grok'layan ağların onu sonunda dalgalarla hesapladığını gösterdi: her sayı birkaç çember üzerinde bir nokta olur, ve sayıları toplamak açıları toplamaya dönüşür. Tam bir mekanizmanın bulunup sonra kontrol edildiği az sayıdaki durumdan biridir.
Her gömme sütununu, 0'dan 22'ye her sayı için bir tane olmak üzere 23 değerlik bir liste olarak oku, ve onu frekansı 1'den 11'e dalgalara ayır (k frekanslı bir dalga 0'dan 22'ye k kez döner; bu ayırma Fourier dönüşümüdür). interp.frequency_shares(emb) her frekansın gömmedeki payını verir (toplamları 1). Model birkaç dalga kullanıyorsa, birkaç frekans onun çoğunu tutar; eşit yayılmış olsa ilk 3, 3/11 = 0.27 tutardı.
Bir örüntü tek başına yetmez: gömmeyi interp.keep_frequencies(emb, keep) ile yalnızca bazı frekanslardan yeniden kur ve test doğruluğunu ölç. İlk 3 mekanizmaysa, yalnızca onları tutmak doğruluğun çoğunu korumalı, ve yalnızca onları kaldırmak onu yok etmeli.
Bu dersteki kelimeler ve semboller
- örüntü, etki, mekanizma
- üç tür kanıt: baktın ve gördün; değiştirdin ve çıktı değişti; açıkladın ve açıklama yeni durumları tahmin etti
- Fourier dönüşümü
- bir değer listesini farklı frekanslardaki dalgalara ayırmak
g = interp.grok_model()'i yükle (ağırlık bozunumu 3 ile, 40.000 adımdan sonraki kaydedilmiş çalıştırma). top3'ü en büyük üç frekansına, top3_share'i toplam paylarına, ve üç gömme için test_acc'yi ayarla: 'all', 'only top 3' ve 'all but top 3'.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.