Embedding adalah pencarian, dan pencarian adalah perkalian
Kenapa ini penting Jaringan hanya melakukan aritmatika, tapi teks terdiri dari simbol. Setiap model bahasa dimulai dengan mengubah setiap simbol menjadi daftar angka pendek, embeddingnya.
Berikan setiap simbol angka dari 0 sampai V minus 1 (id nya). Tabel embedding E punya satu baris per simbol, masing-masing berisi d angka. Mengubah id menjadi angka cukup dengan membaca barisnya: E[id].
Kenapa itu masih jadi sebuah layer
Tulis id sebagai vektor one-hot: V nol dengan satu angka 1 di posisi id. Lalu perkalian one-hot dengan E mengambil baris itu tepat. Jadi embedding adalah layer linear yang inputnya kebetulan one-hot. Kita pakai lookup sebagai gantinya karena ini melewati V kali perkalian d dengan nol.
Ini juga memberitahu cara ia melatih: gradien hanya mencapai baris yang digunakan. Simbol yang tidak pernah muncul dalam batch tetap menjaga barisnya tidak berubah.
Angka kecil
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 sebagai one-hot adalah [0, 1, 0], dan [0, 1, 0] dikali E = [3, 4], sama dengan E[1].
Kata dan simbol di pelajaran ini
- embedding
- baris angka yang dipelajari yang mewakili satu simbol
- ona-panas
- nol dengan satu angka 1; kali tabel, ia memilih satu baris
Tulis onehot(ids, V) yang mengembalikan array dengan bentuk (len(ids), V). Lalu atur rows_with_gradient ke jumlah baris tabel embedding yang mendapatkan gradient tidak nol setelah backward pass yang ditampilkan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.