Token: menggabungkan pasangan yang paling umum
Kenapa ini penting Model asli tidak membaca karakter atau kata utuh. Mereka membaca tokens, potongan di antaranya, yang dibuat oleh aturan penghitungan sederhana. Itulah alasan kenapa model "melihat" kata umum sebagai satu potongan dan kata langka sebagai beberapa potongan.
Byte pair encoding (BPE) dimulai dengan karakter tunggal dan mengulang satu langkah: cari pasangan simbol tetangga yang paling sering muncul di teks, lalu gabungkan menjadi satu simbol baru di mana saja.
Contoh kecil
Kata "low" (5 kali) dan "lot" (2 kali). Pasangan: l o muncul 7 kali, o w 5, o t 2. Gabung l o: sekarang "lo w" dan "lo t". Selanjutnya, lo w muncul 5 kali: gabungkan itu, dan "low" adalah satu token tunggal.
Tokeniser asli menambahkan dua hal yang tidak ada di pelajaran ini. Mereka mulai dari bytes bukan karakter, jadi teks apa pun dalam bahasa apa pun, termasuk emoji, bisa ditulis dengan awal 256 simbol. Dan mereka menandai di mana kata dimulai (GPT-2 menempelkan spasi ke depan kata berikutnya), jadi bagian di awal kata dan huruf yang sama di dalam kata menjadi token yang berbeda. Karakter per kata adalah biaya membaca karakter demi karakter. Token per kata berkurang saat merge ditambahkan: langkah yang lebih sedikit dan lebih besar untuk model, dengan harga kosakata yang lebih besar.
Kata dan simbol di pelajaran ini
- token, BPE
- potongan teks yang dibaca model; byte pair encoding menggabungkan pasangan tetangga yang paling umum, berulang kali
Tulis pair_counts(vocab) (seberapa sering setiap pasangan tetangga muncul, dibobot berdasarkan jumlah kata) dan merge(vocab, pair) (tempelkan pasangan itu di mana saja). Tebak my_guess, jumlah token per kata setelah 200 penggabungan (dimulai dari sekitar 4.6). Loop sudah ditulis untukmu.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.