Silabus Pelajaran 134 dari 246 · Modul 12: Kata sebagai angka (embeddings)
Modul 12: Kata sebagai angka (embeddings)

Embedding adalah pencarian, dan pencarian adalah perkalian

Kenapa ini penting Jaringan hanya melakukan aritmatika, tapi teks terdiri dari simbol. Setiap model bahasa dimulai dengan mengubah setiap simbol menjadi daftar angka pendek, embeddingnya.

Berikan setiap simbol angka dari 0 sampai V minus 1 (id nya). Tabel embedding E punya satu baris per simbol, masing-masing berisi d angka. Mengubah id menjadi angka cukup dengan membaca barisnya: E[id].

Kenapa itu masih jadi sebuah layer

Tulis id sebagai vektor one-hot: V nol dengan satu angka 1 di posisi id. Lalu perkalian one-hot dengan E mengambil baris itu tepat. Jadi embedding adalah layer linear yang inputnya kebetulan one-hot. Kita pakai lookup sebagai gantinya karena ini melewati V kali perkalian d dengan nol.

Ini juga memberitahu cara ia melatih: gradien hanya mencapai baris yang digunakan. Simbol yang tidak pernah muncul dalam batch tetap menjaga barisnya tidak berubah.

Angka kecil

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 sebagai one-hot adalah [0, 1, 0], dan [0, 1, 0] dikali E = [3, 4], sama dengan E[1].

Kata dan simbol di pelajaran ini
embedding
baris angka yang dipelajari yang mewakili satu simbol
ona-panas
nol dengan satu angka 1; kali tabel, ia memilih satu baris
Giliranku

Tulis onehot(ids, V) yang mengembalikan array dengan bentuk (len(ids), V). Lalu atur rows_with_gradient ke jumlah baris tabel embedding yang mendapatkan gradient tidak nol setelah backward pass yang ditampilkan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.