Müfredat 246 dersinden 131. · Modül 11: Belleği olan ağlar (RNN'ler)
Modül 11: Belleği olan ağlar (RNN'ler)

Sıcaklıkla metin örneklemek

Neden önemli Her sohbet botunun bir "sıcaklık" ayarı vardır. Tek bir bölmedir, ve güvenli, tekrarlı metni çeşitli, daha riskli metinle takas eder.

Bir sonraki karakteri seçmek için bir model puanlarını softmax ile olasılıklara çevirir. Önce puanları bir sıcaklık T'ye bölmek o dağılımın ne kadar sivri olduğunu değiştirir: 1'in altındaki T onu keskinleştirir (gözde daha sık kazanır), 1'in üstündeki T onu düzleştirir (sürprizler olası hale gelir).

Entropi, eksi p log p toplamı, bir dağılımın ne kadar yayılmış olduğunu ölçer: bir seçim kesinken 0, n'nin hepsi eşit olasıyken ln(n).

Onu gerçek bir kaydedilmiş model üzerinde ölçeceksin: kursun kendi ders metni üzerinde eğitilmiş minicik GPT'si.

Bu dersteki kelimeler ve semboller
sıcaklık
softmax'tan önce puanları böl: 1'in altında daha keskin, üstünde daha düz
entropi
bir dağılımın ne kadar yayılmış olduğu: kesinken 0, n seçeneğin hepsi eşitken ln(n)
Senin sıran

my_order değerini en düşükten en yüksek entropiye sıralanmış 0.5, 1.0 ve 2.0 sıcaklıklarına ayarla (tahminin). Sonra tek bir puan satırı için entropy_at(scores, T) yaz, ve measured'ı her sıcaklık için modelin verilen bağlamlar üzerindeki sonraki karakter dağılımının ortalama entropisiyle doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.