Müfredat 246 dersinden 44. · Modül 3: Nörondan MLP'ye
Modül 3: Nörondan MLP'ye

Aktivasyonlar: katmanlar arasındaki bükülme

Neden önemli Katmanlar arasında bir bükülme olmadan on katman birden daha akıllı değildir. Bükülmenin seçimi ayrıca gradyanların akıp akamayacağına karar verir.

Her yerde karşılaşacağın üç aktivasyon:

  • ReLU: max(0, z). Ucuzdur, ve pozitif girdiler için eğimi tam olarak 1'dir, bu yüzden gradyanlar sönümlenmeden geçer. Negatifler için eğim 0'dır.
  • tanh: -1 ile 1 arasına, 0 merkezli olarak sıkıştırır. 0'da eğim 1, ama büyük girdilerde neredeyse 0: doyuma ulaşır.
  • GELU: transformer'larda kullanılan yumuşak bir ReLU, kabaca z çarpı sigmoid(1.702 z).

Eğim neden önemli

Geri yayılım her aktivasyonun eğimiyle çarpar. 0'a yakın bir eğim (doyuma ulaşmış bir tanh ya da negatif girdide ReLU) gradyanı engeller. Bunun Modül 6'da gerçek eğitim başarısızlıklarına yol açtığını göreceksin.

Doyuma ulaşmak: eğrinin düz bir kısmında durmak, orada eğim, ve dolayısıyla içinden geçen gradyan, neredeyse sıfırdır.

Özet Bir aktivasyon büker; eğimi ne kadar gradyanın geri aktığına karar verir.

Bu dersteki kelimeler ve semboller
sigmoid
1 / (1 + exp(-z)): her sayıyı 0 ile 1 arasına sıkıştırır
ReLU
max(0, z): pozitifleri tutar, negatifleri sıfırlar
geri yayılım
her ağırlığın gradyanını almak için geriye doğru çalıştırılan zincir kuralı
Senin sıran

Her aktivasyonu ve eğimini yaz: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, hepsi diziler üzerinde. GELU yaklaşımı z * sigmoid(1.702 z) kullan. Eğimi iki kuralı birlikte gerektirir: çarpım kuralı (u × v'nin eğimi u' × v + u × v') ve sigmoidin içinde zincir kuralı (sigmoid(1.702 z)'nin eğimi 1.702 × s(1 - s), s = sigmoid(1.702 z) ile). ReLU'nun tam 0'daki eğimi için 0 kullan. Gizli test her eğimi bir itmeye karşı kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.