Guru besar, murid kecil (distillation)
Kenapa ini penting Model kecil murah untuk dijalankan. Distillation (Hinton, Vinyals and Dean, 2015) melatih model kecil untuk menyalin jawaban lengkap dari model besar, bukan cuma jawaban yang benar: "mungkin e, mungkin a, pasti bukan z". Jawaban lembut itu membawa lebih banyak informasi per contoh daripada teks saja.
Siswa: GPT lebar 16 (sekitar 8,000 weights). Guru: GPT lebar 64. Loss mencampur dua bagian: setengah cross-entropy biasa dengan teks, setengah cross-entropy dengan probabilitas guru, keduanya diperhalus dengan temperature 2 supaya pilihan kedua guru tetap terhitung.
Kursus ini melatih siswa dengan kedua cara, 3 seeds, dan mencatat held-out English loss pada 300, 1000 dan 3000 steps.
Prediksi dulu: pada 300 langkah, apakah siswa yang diajar mengalahkan yang dilatih sendirian? Dan pada 3000?
Kata dan simbol di pelajaran ini
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
- distillation
- melatih siswa kecil untuk menyalin probabilitas penuh guru besar
- suhu (distilasi)
- membagi skor sebelum softmax supaya pilihan kedua lebih berpengaruh
Atur guess untuk 300 dan 3000 langkah ke "taught wins", "alone wins" atau "no clear difference". Lalu isi gap: untuk masing-masing 300, 1000 dan 3000 langkah, rata-rata alone dikurangi rata-rata taught (positif berarti distillation membantu), dan atur verdict dari itu dengan aturan: selisih di bawah 0.03 ke arah mana pun adalah no clear difference.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.