Silabus Pelajaran 136 dari 246 · Modul 12: Kata sebagai angka (embeddings)
Modul 12: Kata sebagai angka (embeddings)

Token: menggabungkan pasangan yang paling umum

Kenapa ini penting Model asli tidak membaca karakter atau kata utuh. Mereka membaca tokens, potongan di antaranya, yang dibuat oleh aturan penghitungan sederhana. Itulah alasan kenapa model "melihat" kata umum sebagai satu potongan dan kata langka sebagai beberapa potongan.

Byte pair encoding (BPE) dimulai dengan karakter tunggal dan mengulang satu langkah: cari pasangan simbol tetangga yang paling sering muncul di teks, lalu gabungkan menjadi satu simbol baru di mana saja.

Contoh kecil

Kata "low" (5 kali) dan "lot" (2 kali). Pasangan: l o muncul 7 kali, o w 5, o t 2. Gabung l o: sekarang "lo w" dan "lo t". Selanjutnya, lo w muncul 5 kali: gabungkan itu, dan "low" adalah satu token tunggal.

Tokeniser asli menambahkan dua hal yang tidak ada di pelajaran ini. Mereka mulai dari bytes bukan karakter, jadi teks apa pun dalam bahasa apa pun, termasuk emoji, bisa ditulis dengan awal 256 simbol. Dan mereka menandai di mana kata dimulai (GPT-2 menempelkan spasi ke depan kata berikutnya), jadi bagian di awal kata dan huruf yang sama di dalam kata menjadi token yang berbeda. Karakter per kata adalah biaya membaca karakter demi karakter. Token per kata berkurang saat merge ditambahkan: langkah yang lebih sedikit dan lebih besar untuk model, dengan harga kosakata yang lebih besar.

Kata dan simbol di pelajaran ini
token, BPE
potongan teks yang dibaca model; byte pair encoding menggabungkan pasangan tetangga yang paling umum, berulang kali
Giliranku

Tulis pair_counts(vocab) (seberapa sering setiap pasangan tetangga muncul, dibobot berdasarkan jumlah kata) dan merge(vocab, pair) (tempelkan pasangan itu di mana saja). Tebak my_guess, jumlah token per kata setelah 200 penggabungan (dimulai dari sekitar 4.6). Loop sudah ditulis untukmu.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.