Büyük bir öğretmen, küçük bir öğrenci (damıtma)
Neden önemli Küçük modelleri çalıştırmak ucuzdur. Damıtma (Hinton, Vinyals ve Dean, 2015) küçük bir modeli büyük birinin yalnızca doğru cevabını değil tam cevaplarını kopyalamaya eğitir: "muhtemelen e, belki a, kesinlikle z değil". O yumuşak cevaplar örnek başına metnin tek başına taşıdığından daha fazla bilgi taşır.
Öğrenci: 16 genişlikte bir GPT (yaklaşık 8.000 ağırlık). Öğretmen: 64 genişlikteki GPT. Kayıp iki kısmı karıştırır: yarısı metinle sıradan çapraz entropi, yarısı öğretmenin olasılıklarıyla çapraz entropi, ikisi de öğretmenin ikinci seçimleri sayılsın diye 2'lik bir sıcaklıkla yumuşatılmış.
Kurs öğrenciyi iki şekilde de, 3 tohumla eğitti, ve 300, 1000 ve 3000 adımda ayrılmış İngilizce kaybı kaydetti.
Önce tahmin et: 300 adımda öğretilmiş öğrenci tek başına eğitileni geçiyor mu? Ya 3000'de?
Bu dersteki kelimeler ve semboller
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- damıtma
- küçük bir öğrenciyi büyük bir öğretmenin tam olasılıklarını kopyalamaya eğitmek
- sıcaklık (damıtma)
- ikinci seçimler daha çok sayılsın diye puanları softmax'tan önce bölmek
300 ve 3000 adım için guess'i "taught wins", "alone wins" ya da "no clear difference" olarak ayarla. Sonra gap'i doldur: 300, 1000 ve 3000 adımın her biri için tek başına ortalaması eksi öğretilmiş ortalaması (pozitif damıtmanın yardım ettiği demektir), ve verdict'i ondan şu kuralla ayarla: her iki yönde 0.03'ün altındaki bir fark açık bir fark yok demektir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.