Müfredat 246 dersinden 125. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Diziler ve durum

Neden önemli Metin, konuşma, fiyatlar ve sensör okumaları her seferinde bir adım gelir, ve önce gelen sonra geleni değiştirir. Yinelemeli bir ağ akan bir özeti ileri taşır.

Yinelemeli bir sinir ağı (RNN) kısa bir vektör olan bir gizli durum h tutar. Her adımda yeni girdiyi eski durumla karıştırır ve sonucu sıkıştırır:

h = tanh(x_t @ Wx + h @ Wh + b)

Tıpkı bir CNN'in filtresini her konumda yeniden kullanması gibi, aynı ağırlıklar her adımda kullanılır. Son h ağın okuduğu her şeye bağlıdır, yani bütün dizinin (kayıplı) bir belleğidir.

Küçük sayılar

Bir girdi sayısı, bir gizli sayı, Wx = 1, Wh = 0.5, b = 0, h 0'dan başlıyor. 1 sonra 0 okumak: h = tanh(1) = 0.76, sonra h = tanh(0 + 0.38) = 0.36. İlk girdi ikinci adımdan sonra da durumda görünüyor, sönerek.

Gizli durum: bir RNN'in adımdan adıma taşıdığı vektör. Yinelemeli: kendi çıktısını tekrar girdi olarak beslemek.

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
Senin sıran

rnn_forward(xs, Wx, Wh, b) yaz: xs'in şekli (adımlar, girdi boyutu); sıfır bir durumdan başla ve her adımdan sonraki gizli durumların listesini döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.