Tonton: Bagaimana Teks Menjadi Angka
Sebelum LLM bisa melakukan apa pun dengan prompt kamu, dia harus mengubah teks kamu menjadi angka, karena neural network hanya melakukan matematika pada angka. Langkah yang melakukan ini adalah tokenization.
Tekan play. Lihat satu kata terbagi menjadi tokens (potongan teks yang sering, biasanya subkata, bukan kata utuh), dan lihat setiap token menjadi integer id dari vocabulary model. Setelah ini, model tidak akan melihat huruf lagi, hanya daftar ids.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.