Sıcaklıkla metin örneklemek
Neden önemli Her sohbet botunun bir "sıcaklık" ayarı vardır. Tek bir bölmedir, ve güvenli, tekrarlı metni çeşitli, daha riskli metinle takas eder.
Bir sonraki karakteri seçmek için bir model puanlarını softmax ile olasılıklara çevirir. Önce puanları bir sıcaklık T'ye bölmek o dağılımın ne kadar sivri olduğunu değiştirir: 1'in altındaki T onu keskinleştirir (gözde daha sık kazanır), 1'in üstündeki T onu düzleştirir (sürprizler olası hale gelir).
Entropi, eksi p log p toplamı, bir dağılımın ne kadar yayılmış olduğunu ölçer: bir seçim kesinken 0, n'nin hepsi eşit olasıyken ln(n).
Onu gerçek bir kaydedilmiş model üzerinde ölçeceksin: kursun kendi ders metni üzerinde eğitilmiş minicik GPT'si.
Bu dersteki kelimeler ve semboller
- sıcaklık
- softmax'tan önce puanları böl: 1'in altında daha keskin, üstünde daha düz
- entropi
- bir dağılımın ne kadar yayılmış olduğu: kesinken 0, n seçeneğin hepsi eşitken ln(n)
my_order değerini en düşükten en yüksek entropiye sıralanmış 0.5, 1.0 ve 2.0 sıcaklıklarına ayarla (tahminin). Sonra tek bir puan satırı için entropy_at(scores, T) yaz, ve measured'ı her sıcaklık için modelin verilen bağlamlar üzerindeki sonraki karakter dağılımının ortalama entropisiyle doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.