Bir gömme bir aramadır, ve bir arama bir çarpmadır
Neden önemli Bir ağ yalnızca aritmetik yapar, ama metin sembollerden oluşur. Her dil modeli her sembolü kısa bir sayı listesine, gömmesine, çevirerek başlar.
Her sembole 0'dan V eksi 1'e bir sayı ver (kimliği). E gömme tablosunun her sembol için bir satırı vardır, her biri d sayı. Bir kimliği sayılara çevirmek basitçe satırını okumaktır: E[id].
Bu neden hâlâ bir katman
Kimliği bir one-hot vektör olarak yaz: id konumunda tek bir 1 bulunan V sıfır. O zaman one-hot çarpı E tam olarak o satırı seçer. Yani bir gömme, girdisi tesadüfen one-hot olan doğrusal bir katmandır. Bunun yerine aramayı yaparız çünkü sıfırla V çarpı d çarpmayı atlar.
Ayrıca nasıl eğitildiğini de söyler: gradyan yalnızca kullanılan satırlara ulaşır. Bir batch'te hiç görünmeyen bir sembol satırını değişmeden tutar.
Küçük sayılar
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. one-hot olarak id 1 [0, 1, 0]'dır, ve [0, 1, 0] çarpı E = [3, 4], E[1] ile aynı.
Bu dersteki kelimeler ve semboller
- gömme
- bir sembolü temsil eden öğrenilmiş sayı satırı
- one-hot
- tek bir 1 bulunan V sıfır; tabloyla çarpılınca bir satır seçer
(len(ids), V) şeklinde bir dizi döndüren onehot(ids, V) yaz. Sonra rows_with_gradient değerini gösterilen geri geçişten sonra sıfır olmayan bir gradyan alan gömme tablosu satırlarının sayısına ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.