Silabus Pelajaran 131 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Mengambil sampel teks dengan temperature

Kenapa ini penting Setiap chatbot punya pengaturan "temperature". Ini adalah satu pembagian, dan ia menukar teks yang aman dan berulang dengan teks yang bervariasi dan lebih berisiko.

Untuk memilih karakter berikutnya, sebuah model mengubah skornya menjadi probabilitas dengan softmax. Membagi skor dengan temperature T pertama kali mengubah seberapa tajam distribusi tersebut: T di bawah 1 membuatnya lebih tajam (pilihan utama lebih sering menang), T di atas 1 membuatnya lebih datar (kejutan menjadi mungkin).

entropy, dikurangi jumlah p log p, mengukur seberapa tersebar sebuah distribusi: 0 saat satu pilihan pasti, ln(n) saat semua n sama kemungkinannya.

Kamu akan mengukurnya pada model rekaman asli: GPT kecil kursus ini yang dilatih pada teks pelajaran sendiri.

Kata dan simbol di pelajaran ini
temperature
bagi skor sebelum softmax: di bawah 1 lebih tajam, di atas 1 lebih datar
entropy
seberapa tersebar sebuah distribusi: 0 saat pasti, ln(n) saat semua n pilihan sama
Giliranku

Atur my_order ke suhu 0.5, 1.0 dan 2.0 diurutkan dari entropi terendah ke tertinggi (predisposisimu). Lalu tulis entropy_at(scores, T) untuk satu baris skor, dan isi measured dengan rata-rata entropi distribusi karakter berikutnya dari model pada konteks yang diberikan, untuk setiap suhu.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.