Aktivasyonlar: katmanlar arasındaki bükülme
Neden önemli Katmanlar arasında bir bükülme olmadan on katman birden daha akıllı değildir. Bükülmenin seçimi ayrıca gradyanların akıp akamayacağına karar verir.
Her yerde karşılaşacağın üç aktivasyon:
- ReLU: max(0, z). Ucuzdur, ve pozitif girdiler için eğimi tam olarak 1'dir, bu yüzden gradyanlar sönümlenmeden geçer. Negatifler için eğim 0'dır.
- tanh: -1 ile 1 arasına, 0 merkezli olarak sıkıştırır. 0'da eğim 1, ama büyük girdilerde neredeyse 0: doyuma ulaşır.
- GELU: transformer'larda kullanılan yumuşak bir ReLU, kabaca z çarpı sigmoid(1.702 z).
Eğim neden önemli
Geri yayılım her aktivasyonun eğimiyle çarpar. 0'a yakın bir eğim (doyuma ulaşmış bir tanh ya da negatif girdide ReLU) gradyanı engeller. Bunun Modül 6'da gerçek eğitim başarısızlıklarına yol açtığını göreceksin.
Doyuma ulaşmak: eğrinin düz bir kısmında durmak, orada eğim, ve dolayısıyla içinden geçen gradyan, neredeyse sıfırdır.
Özet Bir aktivasyon büker; eğimi ne kadar gradyanın geri aktığına karar verir.
Bu dersteki kelimeler ve semboller
- sigmoid
- 1 / (1 + exp(-z)): her sayıyı 0 ile 1 arasına sıkıştırır
- ReLU
- max(0, z): pozitifleri tutar, negatifleri sıfırlar
- geri yayılım
- her ağırlığın gradyanını almak için geriye doğru çalıştırılan zincir kuralı
Her aktivasyonu ve eğimini yaz: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, hepsi diziler üzerinde. GELU yaklaşımı z * sigmoid(1.702 z) kullan. Eğimi iki kuralı birlikte gerektirir: çarpım kuralı (u × v'nin eğimi u' × v + u × v') ve sigmoidin içinde zincir kuralı (sigmoid(1.702 z)'nin eğimi 1.702 × s(1 - s), s = sigmoid(1.702 z) ile). ReLU'nun tam 0'daki eğimi için 0 kullan. Gizli test her eğimi bir itmeye karşı kontrol eder.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.