Müfredat 246 dersinden 138. · Modül 12: Sayı olarak kelimeler (gömmeler)
Modül 12: Sayı olarak kelimeler (gömmeler)

Kelime vektörleri öğrenmek (skip-gram)

Neden önemli Saymak V'ye V bir tabloya ihtiyaç duyar, ki bir milyon kelime için imkânsızdır. Word2vec bunun yerine kısa vektörleri doğrudan gradyan inişiyle öğrenir, ve aynı fikir, bağlamı tahmin ederek vektör öğrenmek, her dil modelinin içinde vardır.

Negatif örneklemeli skip-gram. Her kelimenin iki vektörü vardır: v (kendisi olarak) ve u (birinin bağlamı olarak). Gerçek bir çift için (bir kelime ve cümlesinden bir kelime) v dot u puanını yukarı it; k rastgele "negatif" kelime için aşağı it:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Zincir kuralıyla gradyanlar

p = sigmoid(v . u_pos) ve q_k = sigmoid(v . u_neg_k) ile:

  • dL/dv = (p - 1) u_pos + k üzerinden q_k u_neg_k toplamı
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Onları oku: gerçek çift zaten yüksek puan alıyorsa p 1'e yakındır ve neredeyse hiçbir şey değişmez. Hatalar, tıpkı çapraz entropideki gibi, büyük itişler üretir.

Batch'li, None ile

Bir batch için p'nin şekli (B,) ve u_pos'un şekli (B, d)'dir. u_pos'un her satırını kendi (p - 1) değeriyle ölçeklemek için bir yön ekle: (p - 1)[:, None] * u_pos, şekil (B, 1) çarpı (B, d). Negatifler için q'nun şekli (B, k) ve v'nin şekli (B, d)'dir; q[:, :, None] * v[:, None, :] onları (B, k, 1) çarpı (B, 1, d) olarak hizalar, (B, k, d) verir: negatif başına v'nin ölçeklenmiş bir kopyası. (Python modülünün şekiller dersi None'ı tanıttı.)

Bu dersteki kelimeler ve semboller
PPMI
iki kelimenin şansın vereceğinden ne kadar daha sık karşılaştığı, negatifler 0'a ayarlanmış
skip-gram, negatif örnekleme
gerçek (kelime, bağlam) çiftlerini yüksek ve rastgele çiftleri düşük puanlayarak vektör öğrenmek
Senin sıran

Bir batch için sgns_grads(v, u_pos, u_neg) yaz: v ve u_pos'un şekli (B, d), u_neg'in şekli (B, k, d). Aynı şekillerde (g_v, g_pos, g_neg) döndür. Eğitim döngüsü onu kullanır; sonra 72 benzetmenin en az %90'ı doğru olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.