Apa itu LLM?
A large language model (LLM) seperti yang ada di balik asisten chat, pada dasarnya, adalah pemprediksi token berikutnya yang raksasa. Beberapa istilah akan membuat semuanya jadi masuk akal.
- Tokens. Teks dipotong menjadi bagian kecil yang disebut tokens, kira-kira kata atau potongan kata. Model membaca dan menulis tokens, bukan karakter mentah. Aturan kasarnya: satu token sekitar empat karakter bahasa Inggris.
- Prediction. Berdasarkan token yang ada sejauh ini, model mengeluarkan probabilitas untuk setiap token berikutnya yang mungkin. Model memilih satu, menambahkannya, dan mengulanginya. Loop itulah cara model menulis paragraf utuh.
- Prompt. Teks yang kamu masukkan. Semua yang diketahui model tentang permintaanmu ada di dalam prompt, jadi cara kamu menyusun kalimat sangat berpengaruh (pelajaran berikutnya).
- Temperature. Pengatur tingkat keacakan dari pilihan tersebut. Dekat
0model hampir selalu mengambil token yang paling mungkin (fokus, repetitif). Nilai yang lebih tinggi membiarkannya mengambil token yang kurang mungkin (lebih kreatif, kurang bisa diandalkan). Model lokal, seperti yang ada di capstone kursus ini, masih menggunakan pengatur ini. Model Claude terbaru yang di-host tidak: mereka mengatur sampling sendiri dan menjawab pengaturan temperature dengan error, jadi kamu mengarahkan output melalui prompt. - Hallucination. Karena LLM memprediksi teks yang masuk akal alih-alih mencari fakta, ia bisa menyatakan hal yang salah dengan penuh percaya diri. Selalu verifikasi fakta yang ia berikan padamu.
Tokenizer asli berbasis subword dan dipelajari dari data. Kita tidak akan membangun itu di sini, tapi kita bisa membangun tokenizer paling sederhana (pemisah spasi) untuk merasakan bagaimana menghitung token itu. Jumlah token adalah cara penggunaan dan batas diukur.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']Memisahkan berdasarkan spasi cuma cara sementara. Tokenizer asli membagi menjadi potongan subword, jadi aturan umum yang biasa dipakai adalah tokens ≈ len(text) / 4 karakter, dan kode produksi membaca jumlah tepat dari bidang usage yang dikembalikan API (atau endpoint count-tokens khusus) daripada menebak.
Model penalaran
Semua di atas menjelaskan model yang mengeluarkan jawabannya secara langsung. Keluarga yang lebih baru, reasoning models, pertama kali menghabiskan anggaran tersembunyi dari token "thinking" untuk mengerjakan masalah langkah demi langkah, lalu menulis jawaban akhir. Pertimbangan ekstra itu memberikan akurasi nyata pada tugas sulit yang bertahap (matematika, kode, perencanaan hati-hati), dan kamu sering mendapatkan pengatur: anggaran usaha atau pemikiran yang lebih tinggi berarti lebih banyak token pemikiran, latensi lebih tinggi, dan biaya lebih tinggi. Penilaian tekniknya hanyalah kapan itu sepadan: gunakan reasoning model pada langkah yang benar-benar sulit, dan gunakan model yang cepat dan murah untuk yang rutin. Kamu akan menerapkan pertukaran tepat itu nanti saat kamu membangun cascade sadar biaya yang mengarahkan permintaan mudah ke model murah dan hanya menaikkan yang sulit.
Buat tokenizer whitespace sederhana. tokenize(text) mengembalikan daftar token yang dipisahkan whitespace (gunakan .split()). count_tokens(text) mengembalikan jumlahnya. Lalu atur tokens = tokenize(sample) dan n_tokens = count_tokens(sample).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.