LSTM kapıları, kurulmuş
Neden önemli LSTM (1997, burada öğretilen unutma kapısı 2000'de eklendi) RNN'in bellek sorununu çözdü ve yirmi yıl boyunca konuşma tanıma ve çeviriye güç verdi. Hilesi bir kez görünce basittir.
Gör
Animasyonu oynat. Gizli durum h'nin yanında bir LSTM bir hücre c tutar, bir bellek taşıma bandı. Her biri 0 ile 1 arasında bir sigmoid olan üç kapı ona ne olacağına karar verir:
- unutma kapısı f: eski hücrenin ne kadarının tutulacağı;
- girdi kapısı i: ne kadar yeni bilgi g'nin yazılacağı;
- çıktı kapısı o: hücrenin ne kadarının h olarak gösterileceği.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
Anahtar satır c = f * c + i * g'dir. Bir adım geri gidildiğinde hücredeki gradyan f ile çarpılır, ve başka hiçbir şeyle: bir ağırlık matrisiyle tekrarlanan çarpma yok. Yine de her adımda f kadar küçülür, yani k adımdan sonra f üssü k'dir. f = 0.95 ile bu 50 adımdan sonra 0.08'dir; f = 0.999 ile 0.95'tir. Yani bir LSTM unutma kapıları 1'e çok yakın kaldığında uzağı hatırlar, ve sonraki ders ne kadar yakının yeterince yakın olduğunu ölçüyor.
Bu dersteki kelimeler ve semboller
- yinelemeli ağ (RNN)
- her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
- gizli durum h
- bir RNN'in adımdan adıma taşıdığı kısa sayı vektörü
- LSTM
- bir bellek hücresi c ve üç kapısı olan bir RNN: unutma, girdi, çıktı
W'nin şekli (girdiler + gizli, 4 * gizli) ve dört çeyrek i, f, g, o sırasıyla olmak üzere (h, c) döndüren lstm_step(x, h, c, W, b) yaz. Girdiler batch'li: x (batch, girdiler), h ve c (batch, gizli), bu yüzden x ve h'yi 1. eksen boyunca birleştir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.