Silabus Pelajaran 126 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

RNN karakter

Kenapa ini penting Memprediksi karakter berikutnya dari karakter sebelumnya adalah model bahasa yang asli. Ide yang sama, dalam skala yang lebih besar, adalah chatbot.

Masukkan teks pelajaran kursus satu karakter demi satu karakter. Di setiap langkah, RNN memperbarui statusnya dan memprediksi karakter berikutnya dengan linear layer dan softmax. Loss adalah rata-rata cross-entropy dari 16 posisi setiap potongan pelatihan.

Setiap karakter dimasukkan sebagai embedding: baris angka yang dipelajari dan dicari berdasarkan indeks karakter (Modul 12 menjelaskannya dengan benar; untuk saat ini, tabel pencarian yang dilatih oleh jaringan).

Tebak Kurvanya dengan chart: tebak kerugian pada langkah 0 dan setelah 200 langkah. Tebakan seragam pada semua karakter dalam teks memberikan sekitar ln(V).

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
jaringan yang membaca satu langkah demi satu langkah dan membawa status tersembunyi ke depan
entropy
seberapa tersebar sebuah distribusi: 0 saat pasti, ln(n) saat semua n pilihan sama
Giliranku

Isi my_guess. Lalu tulis step_state(x_ids, h, P) dengan mesin kursus: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Loop pelatihan di sekitarnya sudah ditulis untukmu. Setelah 200 langkah, rata-rata loss pada 20 langkah terakhir harus di bawah 2.6.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.