Silabus Pelajaran 213 dari 246 · Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Guru besar, murid kecil (distillation)

Kenapa ini penting Model kecil murah untuk dijalankan. Distillation (Hinton, Vinyals and Dean, 2015) melatih model kecil untuk menyalin jawaban lengkap dari model besar, bukan cuma jawaban yang benar: "mungkin e, mungkin a, pasti bukan z". Jawaban lembut itu membawa lebih banyak informasi per contoh daripada teks saja.

Siswa: GPT lebar 16 (sekitar 8,000 weights). Guru: GPT lebar 64. Loss mencampur dua bagian: setengah cross-entropy biasa dengan teks, setengah cross-entropy dengan probabilitas guru, keduanya diperhalus dengan temperature 2 supaya pilihan kedua guru tetap terhitung.

Kursus ini melatih siswa dengan kedua cara, 3 seeds, dan mencatat held-out English loss pada 300, 1000 dan 3000 steps.

Prediksi dulu: pada 300 langkah, apakah siswa yang diajar mengalahkan yang dilatih sendirian? Dan pada 3000?

Kata dan simbol di pelajaran ini
LoRA
low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
distillation
melatih siswa kecil untuk menyalin probabilitas penuh guru besar
suhu (distilasi)
membagi skor sebelum softmax supaya pilihan kedua lebih berpengaruh
Giliranku

Atur guess untuk 300 dan 3000 langkah ke "taught wins", "alone wins" atau "no clear difference". Lalu isi gap: untuk masing-masing 300, 1000 dan 3000 langkah, rata-rata alone dikurangi rata-rata taught (positif berarti distillation membantu), dan atur verdict dari itu dengan aturan: selisih di bawah 0.03 ke arah mana pun adalah no clear difference.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.