Yerleştirilmiş hatayı bul ve düzelt
Neden önemli Makine öğrenmesindeki en kötü hatalar çökmez. Eğitilirler, olması gerekenden biraz daha kötü, ve kimse fark etmez. Bir gradyan kontrolü onları saniyeler içinde bulur.
Bir meslektaşın stüdyonun gradyan kodunu daha hızlı olsun diye yeniden yazdı: suspect_grads. Onu okuyamıyorsun, gerçek işte sık olduğu gibi (bir kütüphane, bir takım arkadaşının dalı, üretilmiş kod). Onunla eğitilen temel çalıştırman hâlâ öğreniyor: kursun varsayılan planında language puanı yalnızca yaklaşık 0.05 daha kötü, ve images'ta, tohum 0 ile, hatta daha yüksek puan alıyor. İkisi de dikkatsiz bir okuyucunun gürültü dediği şeyin içinde. İçinde bir şey yanlış.
Modül 3'ün öğrettiği şekilde kontrol et: bir ağırlığı küçük bir miktar dürt, kayıptaki değişimi ölç, ve kodun iddia ettiği eğimle karşılaştır. Bunu küçük bir model üzerinde (genişlik 8, 16'lık bir batch) W1, b1, W2 ve b2'nin her birinin 5 girdisi için yap; iddia edilen eğimi sıfır olmayan girdiler arasından seçilmiş (one-hot girdilerle W1'in eğimlerinin çoğu tam 0'dır, ve orada bir kontrol hiçbir şey kanıtlamaz). Kaybı float64'te studio.loss64 ve 1e-4'lük bir dürtmeyle ölç; 0.01'in üstündeki göreli hataya yanlış de.
Bu dersteki kelimeler ve semboller
- temel çalıştırma
- her değişikliğin aynı tohumlar üzerinde karşılaştırıldığı sade çalıştırma
- gradyan kontrolü
- kodunun hesapladığı eğimi bir ağırlığı dürterek ölçülen eğimle karşılaştırmak
'W1', 'b1', 'W2', 'b2'nin her biri için 5 girdi üzerindeki en büyük göreli hatayı döndüren check(grad_fn) yaz. wrong'u hatası 0.01'in üstünde olan sıralı adlara, ve cause'u bir cümleye ayarla: geri geçişte yanlış gradyanların olduğu yerde ne duruyor, ve orada muhtemelen ne atlandı. Sonra fixed_grads'ı kendin yaz (ileri geçiş m.forward; kayıp ve eğimi studio.loss_and_dout). Sonra temel çalıştırmanı (tohum 0) her biriyle eğit ve iki puanı da yazdır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.