Kapı sınavı: kodda matematik (yapay zekâ kapalı)
Neden önemli Bu modülün üç parçası sonraki her modülde geri gelir: büyük sayılara dayanan bir softmax, bir matris çarpımının gradyanları ve KL ıraksaması. Bu matematiği zaten biliyor musun? Bu kapı sınavını diğer derslerden önce yapabilirsin: geçmek bu modülü tamamlanmış sayar ve bir sonrakini açar.
Yapay zekâ öğretmeni kapalı. Softmax için kaydırma hilesini kullan: en büyük puanı her puandan çıkarmak kâğıt üzerinde hiçbir şeyi değiştirmez, ama her exp'i en fazla 1'de tutar. Gerçek logitler büyük olabilir, ve büyük girdilerde nan döndüren bir softmax bir eğitim çalıştırmasını sessizce mahveder.
Bu dersteki kelimeler ve semboller
- türev (df/dx)
- girdinin birim itmesi başına çıktının ne kadar hızlı değiştiği
- softmax
- her puanın exp değeri bölü toplam: puanlar olasılığa dönüşür
- çapraz entropi
- doğru cevaba verilen olasılığın logaritmasının eksisi
- KL(P || Q)
- iki dağılımın ne kadar farklı olduğu; yalnızca eşleştiklerinde sıfır; sıra önemli
2B logit dizileri için (örnek başına bir satır) şunları yaz:
logsumexp(z): her satır boyunca exp toplamının logaritması, çok büyük değerler için güvenli.stable_softmax(z): her satır boyunca softmax, çok büyük değerler için güvenli.nll(z, labels): hiçbir zaman bir softmax'ın logaritmasını almadan, doğrudan logitlerdenlogsumexp - z[true]olarak hesaplanan ortalama çapraz entropi.matmul_grads(X, W, G): Y = X @ W ve Y'ye göre gradyanı G olan bir kayıp için, hiçbir Jacobian kurmadan X ve W'ye göre gradyanlar olan(dX, dW)döndür.kl_normal(m1, s1, m2, s2): N(m1, s1) çan eğrisinden N(m2, s2)'ye KL ıraksaması, burada s1 ve s2 yayılımlardır (standart sapmalar).
Kontroller her seferinde yeni rastgele şekiller ve sayılar kullanır, ve itmeyle ve sayısal bir integralle karşılaştırır.
AI kapalı: bu ödevde eğitmen, ipucu veya çözümlü örnek yok. Sadece kendi düşüncen.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
İlerlemen anonim olarak sayılıyor. Bunu değiştir
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.