Müfredat 246 dersinden 129. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

LSTM kapıları, kurulmuş

Neden önemli LSTM (1997, burada öğretilen unutma kapısı 2000'de eklendi) RNN'in bellek sorununu çözdü ve yirmi yıl boyunca konuşma tanıma ve çeviriye güç verdi. Hilesi bir kez görünce basittir.

Gör

Animasyonu oynat. Gizli durum h'nin yanında bir LSTM bir hücre c tutar, bir bellek taşıma bandı. Her biri 0 ile 1 arasında bir sigmoid olan üç kapı ona ne olacağına karar verir:

  • unutma kapısı f: eski hücrenin ne kadarının tutulacağı;
  • girdi kapısı i: ne kadar yeni bilgi g'nin yazılacağı;
  • çıktı kapısı o: hücrenin ne kadarının h olarak gösterileceği.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Anahtar satır c = f * c + i * g'dir. Bir adım geri gidildiğinde hücredeki gradyan f ile çarpılır, ve başka hiçbir şeyle: bir ağırlık matrisiyle tekrarlanan çarpma yok. Yine de her adımda f kadar küçülür, yani k adımdan sonra f üssü k'dir. f = 0.95 ile bu 50 adımdan sonra 0.08'dir; f = 0.999 ile 0.95'tir. Yani bir LSTM unutma kapıları 1'e çok yakın kaldığında uzağı hatırlar, ve sonraki ders ne kadar yakının yeterince yakın olduğunu ölçüyor.

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
gizli durum h
bir RNN'in adımdan adıma taşıdığı kısa sayı vektörü
LSTM
bir bellek hücresi c ve üç kapısı olan bir RNN: unutma, girdi, çıktı
Senin sıran

W'nin şekli (girdiler + gizli, 4 * gizli) ve dört çeyrek i, f, g, o sırasıyla olmak üzere (h, c) döndüren lstm_step(x, h, c, W, b) yaz. Girdiler batch'li: x (batch, girdiler), h ve c (batch, gizli), bu yüzden x ve h'yi 1. eksen boyunca birleştir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.