Müfredat 246 dersinden 38. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Kapı sınavı: kodda matematik (yapay zekâ kapalı)

Neden önemli Bu modülün üç parçası sonraki her modülde geri gelir: büyük sayılara dayanan bir softmax, bir matris çarpımının gradyanları ve KL ıraksaması. Bu matematiği zaten biliyor musun? Bu kapı sınavını diğer derslerden önce yapabilirsin: geçmek bu modülü tamamlanmış sayar ve bir sonrakini açar.

Yapay zekâ öğretmeni kapalı. Softmax için kaydırma hilesini kullan: en büyük puanı her puandan çıkarmak kâğıt üzerinde hiçbir şeyi değiştirmez, ama her exp'i en fazla 1'de tutar. Gerçek logitler büyük olabilir, ve büyük girdilerde nan döndüren bir softmax bir eğitim çalıştırmasını sessizce mahveder.

Bu dersteki kelimeler ve semboller
türev (df/dx)
girdinin birim itmesi başına çıktının ne kadar hızlı değiştiği
softmax
her puanın exp değeri bölü toplam: puanlar olasılığa dönüşür
çapraz entropi
doğru cevaba verilen olasılığın logaritmasının eksisi
KL(P || Q)
iki dağılımın ne kadar farklı olduğu; yalnızca eşleştiklerinde sıfır; sıra önemli
Senin sıran

2B logit dizileri için (örnek başına bir satır) şunları yaz:

  • logsumexp(z): her satır boyunca exp toplamının logaritması, çok büyük değerler için güvenli.
  • stable_softmax(z): her satır boyunca softmax, çok büyük değerler için güvenli.
  • nll(z, labels): hiçbir zaman bir softmax'ın logaritmasını almadan, doğrudan logitlerden logsumexp - z[true] olarak hesaplanan ortalama çapraz entropi.
  • matmul_grads(X, W, G): Y = X @ W ve Y'ye göre gradyanı G olan bir kayıp için, hiçbir Jacobian kurmadan X ve W'ye göre gradyanlar olan (dX, dW) döndür.
  • kl_normal(m1, s1, m2, s2): N(m1, s1) çan eğrisinden N(m2, s2)'ye KL ıraksaması, burada s1 ve s2 yayılımlardır (standart sapmalar).

Kontroller her seferinde yeni rastgele şekiller ve sayılar kullanır, ve itmeyle ve sayısal bir integralle karşılaştırır.

AI kapalı: bu ödevde eğitmen, ipucu veya çözümlü örnek yok. Sadece kendi düşüncen.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Kod · tarayıcında çalışır
Çıktı

        

İlerlemen anonim olarak sayılıyor. Bunu değiştir