Mengambil sampel teks dengan temperature
Kenapa ini penting Setiap chatbot punya pengaturan "temperature". Ini adalah satu pembagian, dan ia menukar teks yang aman dan berulang dengan teks yang bervariasi dan lebih berisiko.
Untuk memilih karakter berikutnya, sebuah model mengubah skornya menjadi probabilitas dengan softmax. Membagi skor dengan temperature T pertama kali mengubah seberapa tajam distribusi tersebut: T di bawah 1 membuatnya lebih tajam (pilihan utama lebih sering menang), T di atas 1 membuatnya lebih datar (kejutan menjadi mungkin).
entropy, dikurangi jumlah p log p, mengukur seberapa tersebar sebuah distribusi: 0 saat satu pilihan pasti, ln(n) saat semua n sama kemungkinannya.
Kamu akan mengukurnya pada model rekaman asli: GPT kecil kursus ini yang dilatih pada teks pelajaran sendiri.
Kata dan simbol di pelajaran ini
- temperature
- bagi skor sebelum softmax: di bawah 1 lebih tajam, di atas 1 lebih datar
- entropy
- seberapa tersebar sebuah distribusi: 0 saat pasti, ln(n) saat semua n pilihan sama
Atur my_order ke suhu 0.5, 1.0 dan 2.0 diurutkan dari entropi terendah ke tertinggi (predisposisimu). Lalu tulis entropy_at(scores, T) untuk satu baris skor, dan isi measured dengan rata-rata entropi distribusi karakter berikutnya dari model pada konteks yang diberikan, untuk setiap suhu.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.