Müfredat 246 dersinden 134. · Modül 12: Sayı olarak kelimeler (gömmeler)
Modül 12: Sayı olarak kelimeler (gömmeler)

Bir gömme bir aramadır, ve bir arama bir çarpmadır

Neden önemli Bir ağ yalnızca aritmetik yapar, ama metin sembollerden oluşur. Her dil modeli her sembolü kısa bir sayı listesine, gömmesine, çevirerek başlar.

Her sembole 0'dan V eksi 1'e bir sayı ver (kimliği). E gömme tablosunun her sembol için bir satırı vardır, her biri d sayı. Bir kimliği sayılara çevirmek basitçe satırını okumaktır: E[id].

Bu neden hâlâ bir katman

Kimliği bir one-hot vektör olarak yaz: id konumunda tek bir 1 bulunan V sıfır. O zaman one-hot çarpı E tam olarak o satırı seçer. Yani bir gömme, girdisi tesadüfen one-hot olan doğrusal bir katmandır. Bunun yerine aramayı yaparız çünkü sıfırla V çarpı d çarpmayı atlar.

Ayrıca nasıl eğitildiğini de söyler: gradyan yalnızca kullanılan satırlara ulaşır. Bir batch'te hiç görünmeyen bir sembol satırını değişmeden tutar.

Küçük sayılar

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. one-hot olarak id 1 [0, 1, 0]'dır, ve [0, 1, 0] çarpı E = [3, 4], E[1] ile aynı.

Bu dersteki kelimeler ve semboller
gömme
bir sembolü temsil eden öğrenilmiş sayı satırı
one-hot
tek bir 1 bulunan V sıfır; tabloyla çarpılınca bir satır seçer
Senin sıran

(len(ids), V) şeklinde bir dizi döndüren onehot(ids, V) yaz. Sonra rows_with_gradient değerini gösterilen geri geçişten sonra sıfır olmayan bir gradyan alan gömme tablosu satırlarının sayısına ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.