Müfredat 246 dersinden 130. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Kim hatırlıyor? Kaydedilmiş çalıştırmalar

Neden önemli Ders kitabı LSTM'lerin hatırladığını, düz RNN'lerin unuttuğunu söyler. Kurs bunu test etti, ve gerçek cevabın, birini eğitmeden önce bilmeye değer bir bükülmesi var.

Kaydedilmiş rnn-vs-lstm-memory deneyi: ağ dört sembolden birini görür, sonra aynı alfabeden çekilmiş 5, 15, 30 ya da 60 sembollük bir boşluk gelir, ve ilk sembolün ne olduğunu söylemesi gerekir. Üç tür ağ, her biri üç tohum:

  • düz bir tanh RNN;
  • unutma kapısı 1 sapmasıyla başlayan bir LSTM (başta adım başına hücrenin yaklaşık %73'ünü tutar);
  • unutma kapısı 3 sapmasıyla başlayan bir LSTM (yaklaşık %95).

Çalıştırmaları okumadan önce tahmin et: 60'lık bir boşlukta hangi tür üç tohumun hepsinde başarılı olur?

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
LSTM
bir bellek hücresi c ve üç kapısı olan bir RNN: unutma, girdi, çıktı
Senin sıran

my_prediction değerini "rnn", "lstm-forget-bias-1" ya da "lstm-forget-bias-3" olarak ayarla. Sonra nnsim.recorded kullanarak successes'ı doldur: (cell, gap)'ten üç tohumdan kaçının en az %95 test doğruluğuna ulaştığına.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.