Silabus Pelajaran 138 dari 246 · Modul 12: Kata sebagai angka (embeddings)
Modul 12: Kata sebagai angka (embeddings)

Belajar vektor kata (skip-gram)

Kenapa ini penting Penghitungan butuh tabel V oleh V, yang mustahil untuk satu juta kata. Word2vec mempelajari vektor pendek secara langsung dengan gradient descent, dan ide yang sama, mempelajari vektor dengan memprediksi konteks, ada di dalam setiap model bahasa.

Skip-gram dengan negative sampling. Setiap kata punya dua vektor: v (sebagai dirinya sendiri) dan u (sebagai konteks seseorang). Untuk pasangan asli (sebuah kata dan kata dari kalimatnya), naikkan skor v dot u; untuk k kata "negatif" acak, turunkan skornya:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Gradiennya, dengan aturan rantai

Dengan p = sigmoid(v . u_pos) dan q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Baca mereka: jika pasangan asli sudah mendapat skor tinggi, p mendekati 1 dan hampir tidak ada yang berubah. Kesalahan menghasilkan dorongan besar, persis seperti cross-entropy.

Batched, dengan None

Untuk satu batch, p punya shape (B,) dan u_pos punya shape (B, d). Untuk menskalakan setiap baris u_pos dengan (p - 1) masing-masing, tambahkan arah: (p - 1)[:, None] * u_pos, shape (B, 1) dikali (B, d). Untuk nilai negatif, q punya shape (B, k) dan v punya shape (B, d); q[:, :, None] * v[:, None, :] menyusunnya sebagai (B, k, 1) dikali (B, 1, d), menghasilkan (B, k, d): satu salinan v yang diskalakan untuk setiap negatif. (Pelajaran shape modul Python memperkenalkan None.)

Kata dan simbol di pelajaran ini
PPMI
seberapa sering dua kata bertemu dibandingkan dengan peluang acak, dengan nilai negatif diatur ke 0
skip-gram, negative sampling
pelajari vektor dengan memberi skor tinggi pada pasangan (word, context) yang nyata dan skor rendah pada pasangan acak
Giliranku

Tulis sgns_grads(v, u_pos, u_neg) untuk batch: v dan u_pos punya shape (B, d), u_neg punya shape (B, k, d). Kembalikan (g_v, g_pos, g_neg) dengan shape yang sama. Training loop menggunakannya; lalu 72 analogi harus benar setidaknya 90%.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.