RNN karakter
Kenapa ini penting Memprediksi karakter berikutnya dari karakter sebelumnya adalah model bahasa yang asli. Ide yang sama, dalam skala yang lebih besar, adalah chatbot.
Masukkan teks pelajaran kursus satu karakter demi satu karakter. Di setiap langkah, RNN memperbarui statusnya dan memprediksi karakter berikutnya dengan linear layer dan softmax. Loss adalah rata-rata cross-entropy dari 16 posisi setiap potongan pelatihan.
Setiap karakter dimasukkan sebagai embedding: baris angka yang dipelajari dan dicari berdasarkan indeks karakter (Modul 12 menjelaskannya dengan benar; untuk saat ini, tabel pencarian yang dilatih oleh jaringan).
Tebak Kurvanya dengan chart: tebak kerugian pada langkah 0 dan setelah 200 langkah. Tebakan seragam pada semua karakter dalam teks memberikan sekitar ln(V).
Kata dan simbol di pelajaran ini
- jaringan saraf berulang (RNN)
- jaringan yang membaca satu langkah demi satu langkah dan membawa status tersembunyi ke depan
- entropy
- seberapa tersebar sebuah distribusi: 0 saat pasti, ln(n) saat semua n pilihan sama
Isi my_guess. Lalu tulis step_state(x_ids, h, P) dengan mesin kursus: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Loop pelatihan di sekitarnya sudah ditulis untukmu. Setelah 200 langkah, rata-rata loss pada 20 langkah terakhir harus di bawah 2.6.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.