Müfredat 246 dersinden 135. · Modül 12: Sayı olarak kelimeler (gömmeler)
Modül 12: Sayı olarak kelimeler (gömmeler)

Bir modelin harfler hakkında öğrendikleri

Neden önemli Kimse bir dil modeline a ve e'nin ikisinin de ünlü olduğunu söylemez. Gömmeleri yine de onları birbirine yakın koyuyorsa, model bunu yalnızca metinden keşfetmiştir. Bu, veriden öğrenilmiş "anlamın" ilk görüntüsüdür.

İki gömmeyi karşılaştırmak için kosinüs benzerliği kullan: iç çarpım bölü iki uzunluk. İki vektör aynı yönü gösterdiğinde 1, ilgisiz olduklarında (dik açıda) 0, zıt yönleri gösterdiklerinde eksi 1'dir. Çoğunlukla bir sembolün ne sıklıkta göründüğünü yansıtan uzunluğu yok sayar.

Kursun kaydedilmiş minicik GPT'sinin içine bakacaksın (Modül 13 onu kuruyor). Yalnızca bu kursun ders metnini, her seferinde bir karakter, her karakter 64 sayılık bir satır olarak okudu.

Önce tahmin et: hangi karakter çifti grubu ortalamada en benzer olacak: iki ünlü, bir ünlü ve bir ünsüz, ya da iki rakam?

Bu dersteki kelimeler ve semboller
gömme
bir sembolü temsil eden öğrenilmiş sayı satırı
kosinüs benzerliği
iç çarpım bölü iki uzunluk: aynı yön 1, ilgisiz 0, zıt -1
Senin sıran

my_prediction değerini "vowels", "mixed" ya da "digits" olarak ayarla. cosine(a, b) ve nearest(ch, k) yaz (ch'ye en yüksek kosinüse sahip diğer k karakter, en iyi önce). Sonra group'u her gruptaki farklı karakterlerin bütün çiftleri üzerindeki ortalama kosinüsle doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.