Bir karakter RNN'i
Neden önemli Bir sonraki karakteri öncekilerden tahmin etmek orijinal dil modelidir. Aynı fikir, büyütülmüş hali, bir sohbet botudur.
Kursun kendi ders metnini her seferinde bir karakter besle. Her adımda RNN durumunu günceller ve doğrusal bir katman ve softmax ile bir sonraki karakteri tahmin eder. Kayıp, her eğitim parçasının 16 konumu üzerindeki ortalama çapraz entropidir.
Her karakter bir gömme olarak girer: karakterin indeksiyle bakılan öğrenilmiş bir sayı satırı (Modül 12 onları düzgünce açıklıyor; şimdilik ağın eğittiği bir arama tablosu).
Grafikle Eğriyi Tahmin Et: 0. adımdaki ve 200 adımdan sonraki kaybı tahmin et. Metindeki bütün karakterler üzerinde eşit bir tahmin yaklaşık ln(V) verir.
Bu dersteki kelimeler ve semboller
- yinelemeli ağ (RNN)
- her seferinde bir adım okuyan ve bir gizli durumu ileri taşıyan bir ağ
- entropi
- bir dağılımın ne kadar yayılmış olduğu: kesinken 0, n seçeneğin hepsi eşitken ln(n)
my_guess doldur. Sonra ev motoruyla step_state(x_ids, h, P) yaz: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Etrafındaki eğitim döngüsü senin için yazılmış. 200 adımdan sonra son 20 adımdaki ortalama kayıp 2.6'nın altında olmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.