Kelime vektörleri öğrenmek (skip-gram)
Neden önemli Saymak V'ye V bir tabloya ihtiyaç duyar, ki bir milyon kelime için imkânsızdır. Word2vec bunun yerine kısa vektörleri doğrudan gradyan inişiyle öğrenir, ve aynı fikir, bağlamı tahmin ederek vektör öğrenmek, her dil modelinin içinde vardır.
Negatif örneklemeli skip-gram. Her kelimenin iki vektörü vardır: v (kendisi olarak) ve u (birinin bağlamı olarak). Gerçek bir çift için (bir kelime ve cümlesinden bir kelime) v dot u puanını yukarı it; k rastgele "negatif" kelime için aşağı it:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Zincir kuralıyla gradyanlar
p = sigmoid(v . u_pos) ve q_k = sigmoid(v . u_neg_k) ile:
- dL/dv = (p - 1) u_pos + k üzerinden q_k u_neg_k toplamı
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Onları oku: gerçek çift zaten yüksek puan alıyorsa p 1'e yakındır ve neredeyse hiçbir şey değişmez. Hatalar, tıpkı çapraz entropideki gibi, büyük itişler üretir.
Batch'li, None ile
Bir batch için p'nin şekli (B,) ve u_pos'un şekli (B, d)'dir. u_pos'un her satırını kendi (p - 1) değeriyle ölçeklemek için bir yön ekle: (p - 1)[:, None] * u_pos, şekil (B, 1) çarpı (B, d). Negatifler için q'nun şekli (B, k) ve v'nin şekli (B, d)'dir; q[:, :, None] * v[:, None, :] onları (B, k, 1) çarpı (B, 1, d) olarak hizalar, (B, k, d) verir: negatif başına v'nin ölçeklenmiş bir kopyası. (Python modülünün şekiller dersi None'ı tanıttı.)
Bu dersteki kelimeler ve semboller
- PPMI
- iki kelimenin şansın vereceğinden ne kadar daha sık karşılaştığı, negatifler 0'a ayarlanmış
- skip-gram, negatif örnekleme
- gerçek (kelime, bağlam) çiftlerini yüksek ve rastgele çiftleri düşük puanlayarak vektör öğrenmek
Bir batch için sgns_grads(v, u_pos, u_neg) yaz: v ve u_pos'un şekli (B, d), u_neg'in şekli (B, k, d). Aynı şekillerde (g_v, g_pos, g_neg) döndür. Eğitim döngüsü onu kullanır; sonra 72 benzetmenin en az %90'ı doğru olmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.