Müfredat 246 dersinden 61. · Modül 4: Kendi autograd motorun
Modül 4: Kendi autograd motorun

Kendi ağırlıklarını tutan katmanlar

Neden önemli Gerçek ağların birçok katmanı vardır. Her katman kendi ağırlıklarına sahip olmalı ve onları listeleyebilmeli, böylece eğitim kodu içinde ne olduğunu hiç bilmek zorunda kalmaz.

Bir Linear katmanı W ve b'yi Tensor olarak tutar ve x @ W + b hesaplar. Bir MLP, aralarında ReLU olan Linear katmanlardan oluşan bir liste tutar. İkisi de ağırlık Tensor'larının bir listesi olan parameters() sunar.

Gradyanlar neden sıfırlanır

Geri geçişin her grad'a ekler. Bu tek bir geçiş içinde doğrudur, ama adımlar arasında eski gradyan hâlâ orada durur. Onu temizlemeyi unutursan her adım geçmişteki bütün gradyanların toplamını kullanır: eğitim kayar ve sonra patlar. Yani her adım şudur: grad'ları sıfırla, ileri, geri, adım.

Parametre: eğitimin değiştirdiği bir ağırlık. zero_grad: bir sonraki geri geçişten önce her parametrenin grad değerini sıfıra sıfırlamak.

Ağırlıkları sqrt(2 / inputs) yayılımıyla başlat, bu sinyalleri ReLU katmanları boyunca makul bir boyutta tutar. Modül 6 nedenini açıklıyor.

Bu dersteki kelimeler ve semboller
Tensor
burada: bir dizi artı gradyanı artı geldiği Tensor'lar
unbroadcast
bir gradyanı esnetildiği şekle geri toplamak
zero_grad
geri geçiş gradyanlara eklediği için, bir sonraki adımdan önce onları sıfırlamak
Senin sıran

Linear, MLP, zero_grad(params) ve sgd_step(params, lr) fonksiyonlarını anlatıldığı gibi yaz. MLP([64, 32, 10], rng), aralarında bir ReLU olan ve sonuncusundan sonra hiç olmayan iki Linear katman yapar.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.