Bir modelin harfler hakkında öğrendikleri
Neden önemli Kimse bir dil modeline a ve e'nin ikisinin de ünlü olduğunu söylemez. Gömmeleri yine de onları birbirine yakın koyuyorsa, model bunu yalnızca metinden keşfetmiştir. Bu, veriden öğrenilmiş "anlamın" ilk görüntüsüdür.
İki gömmeyi karşılaştırmak için kosinüs benzerliği kullan: iç çarpım bölü iki uzunluk. İki vektör aynı yönü gösterdiğinde 1, ilgisiz olduklarında (dik açıda) 0, zıt yönleri gösterdiklerinde eksi 1'dir. Çoğunlukla bir sembolün ne sıklıkta göründüğünü yansıtan uzunluğu yok sayar.
Kursun kaydedilmiş minicik GPT'sinin içine bakacaksın (Modül 13 onu kuruyor). Yalnızca bu kursun ders metnini, her seferinde bir karakter, her karakter 64 sayılık bir satır olarak okudu.
Önce tahmin et: hangi karakter çifti grubu ortalamada en benzer olacak: iki ünlü, bir ünlü ve bir ünsüz, ya da iki rakam?
Bu dersteki kelimeler ve semboller
- gömme
- bir sembolü temsil eden öğrenilmiş sayı satırı
- kosinüs benzerliği
- iç çarpım bölü iki uzunluk: aynı yön 1, ilgisiz 0, zıt -1
my_prediction değerini "vowels", "mixed" ya da "digits" olarak ayarla. cosine(a, b) ve nearest(ch, k) yaz (ch'ye en yüksek kosinüse sahip diğer k karakter, en iyi önce). Sonra group'u her gruptaki farklı karakterlerin bütün çiftleri üzerindeki ortalama kosinüsle doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.