Müfredat 246 dersinden 136. · Modül 12: Sayı olarak kelimeler (gömmeler)
Modül 12: Sayı olarak kelimeler (gömmeler)

Token'lar: en yaygın çiftleri birleştirmek

Neden önemli Gerçek modeller karakterleri ya da bütün kelimeleri okumaz. Arada kalan parçalar olan token'ları okurlar, basit bir sayma kuralıyla yapılmış. Bir modelin yaygın bir kelimeyi tek parça, nadir birini birkaç parça olarak "görmesinin" nedeni budur.

Bayt çifti kodlama (BPE) tek karakterlerle başlar ve bir adımı tekrarlar: metinde en sık görünen komşu sembol çiftini bul ve her yerde onu yeni tek bir sembole yapıştır.

Küçük örnek

"low" (5 kez) ve "lot" (2 kez) kelimeleri. Çiftler: l o 7 kez, o w 5, o t 2 kez görünüyor. l o'yu birleştir: artık "lo w" ve "lo t". Sonra lo w 5 kez görünüyor: onu birleştir, ve "low" tek bir token olur.

Gerçek tokenizer'lar bu dersin dışarıda bıraktığı iki şey ekler. Karakterler yerine baytlardan başlarlar, böylece emoji dahil her dilde her metin 256 sembollük bir başlangıçla yazılabilir. Ve kelimelerin nerede başladığını işaretlerler (GPT-2 boşluğu bir sonraki kelimenin önüne yapıştırır), böylece bir kelimenin başındaki bir parça ve bir kelimenin içindeki aynı harfler farklı token'lar olur. Kelime başına karakter, karakter karakter okumanın bedelidir. Kelime başına token birleştirmeler eklendikçe düşer: model için daha az, daha büyük adımlar, daha büyük bir sözcük dağarcığı pahasına.

Bu dersteki kelimeler ve semboller
token, BPE
modelin okuduğu bir metin parçası; bayt çifti kodlama en yaygın komşu çifti tekrar tekrar yapıştırır
Senin sıran

pair_counts(vocab) (her komşu çiftin, kelime sayısıyla ağırlıklandırılmış olarak ne sıklıkta göründüğü) ve merge(vocab, pair) (o çifti her yerde yapıştır) yaz. 200 birleştirmeden sonra kelime başına token olan my_guess'i tahmin et (yaklaşık 4.6'da başlıyor). Döngü senin için yazılmış.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.