Kendi ağırlıklarını tutan katmanlar
Neden önemli Gerçek ağların birçok katmanı vardır. Her katman kendi ağırlıklarına sahip olmalı ve onları listeleyebilmeli, böylece eğitim kodu içinde ne olduğunu hiç bilmek zorunda kalmaz.
Bir Linear katmanı W ve b'yi Tensor olarak tutar ve x @ W + b hesaplar. Bir MLP, aralarında ReLU olan Linear katmanlardan oluşan bir liste tutar. İkisi de ağırlık Tensor'larının bir listesi olan parameters() sunar.
Gradyanlar neden sıfırlanır
Geri geçişin her grad'a ekler. Bu tek bir geçiş içinde doğrudur, ama adımlar arasında eski gradyan hâlâ orada durur. Onu temizlemeyi unutursan her adım geçmişteki bütün gradyanların toplamını kullanır: eğitim kayar ve sonra patlar. Yani her adım şudur: grad'ları sıfırla, ileri, geri, adım.
Parametre: eğitimin değiştirdiği bir ağırlık. zero_grad: bir sonraki geri geçişten önce her parametrenin grad değerini sıfıra sıfırlamak.
Ağırlıkları sqrt(2 / inputs) yayılımıyla başlat, bu sinyalleri ReLU katmanları boyunca makul bir boyutta tutar. Modül 6 nedenini açıklıyor.
Bu dersteki kelimeler ve semboller
- Tensor
- burada: bir dizi artı gradyanı artı geldiği Tensor'lar
- unbroadcast
- bir gradyanı esnetildiği şekle geri toplamak
- zero_grad
- geri geçiş gradyanlara eklediği için, bir sonraki adımdan önce onları sıfırlamak
Linear, MLP, zero_grad(params) ve sgd_step(params, lr) fonksiyonlarını anlatıldığı gibi yaz. MLP([64, 32, 10], rng), aralarında bir ReLU olan ve sonuncusundan sonra hiç olmayan iki Linear katman yapar.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.