Müfredat 246 dersinden 126. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Bir karakter RNN'i

Neden önemli Bir sonraki karakteri öncekilerden tahmin etmek orijinal dil modelidir. Aynı fikir, büyütülmüş hali, bir sohbet botudur.

Kursun kendi ders metnini her seferinde bir karakter besle. Her adımda RNN durumunu günceller ve doğrusal bir katman ve softmax ile bir sonraki karakteri tahmin eder. Kayıp, her eğitim parçasının 16 konumu üzerindeki ortalama çapraz entropidir.

Her karakter bir gömme olarak girer: karakterin indeksiyle bakılan öğrenilmiş bir sayı satırı (Modül 12 onları düzgünce açıklıyor; şimdilik ağın eğittiği bir arama tablosu).

Grafikle Eğriyi Tahmin Et: 0. adımdaki ve 200 adımdan sonraki kaybı tahmin et. Metindeki bütün karakterler üzerinde eşit bir tahmin yaklaşık ln(V) verir.

Bu dersteki kelimeler ve semboller
yinelemeli ağ (RNN)
her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
entropi
bir dağılımın ne kadar yayılmış olduğu: kesinken 0, n seçeneğin hepsi eşitken ln(n)
Senin sıran

my_guess doldur. Sonra ev motoruyla step_state(x_ids, h, P) yaz: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Etrafındaki eğitim döngüsü senin için yazılmış. 200 adımdan sonra son 20 adımdaki ortalama kayıp 2.6'nın altında olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.