Müfredat 246 dersinden 239. · Modül 23: Bitirme stüdyosu: çalıştırabileceğin bir model kartı
Modül 23: Bitirme stüdyosu: çalıştırabileceğin bir model kartı

Yerleştirilmiş hatayı bul ve düzelt

Neden önemli Makine öğrenmesindeki en kötü hatalar çökmez. Eğitilirler, olması gerekenden biraz daha kötü, ve kimse fark etmez. Bir gradyan kontrolü onları saniyeler içinde bulur.

Bir meslektaşın stüdyonun gradyan kodunu daha hızlı olsun diye yeniden yazdı: suspect_grads. Onu okuyamıyorsun, gerçek işte sık olduğu gibi (bir kütüphane, bir takım arkadaşının dalı, üretilmiş kod). Onunla eğitilen temel çalıştırman hâlâ öğreniyor: kursun varsayılan planında language puanı yalnızca yaklaşık 0.05 daha kötü, ve images'ta, tohum 0 ile, hatta daha yüksek puan alıyor. İkisi de dikkatsiz bir okuyucunun gürültü dediği şeyin içinde. İçinde bir şey yanlış.

Modül 3'ün öğrettiği şekilde kontrol et: bir ağırlığı küçük bir miktar dürt, kayıptaki değişimi ölç, ve kodun iddia ettiği eğimle karşılaştır. Bunu küçük bir model üzerinde (genişlik 8, 16'lık bir batch) W1, b1, W2 ve b2'nin her birinin 5 girdisi için yap; iddia edilen eğimi sıfır olmayan girdiler arasından seçilmiş (one-hot girdilerle W1'in eğimlerinin çoğu tam 0'dır, ve orada bir kontrol hiçbir şey kanıtlamaz). Kaybı float64'te studio.loss64 ve 1e-4'lük bir dürtmeyle ölç; 0.01'in üstündeki göreli hataya yanlış de.

Bu dersteki kelimeler ve semboller
temel çalıştırma
her değişikliğin aynı tohumlar üzerinde karşılaştırıldığı sade çalıştırma
gradyan kontrolü
kodunun hesapladığı eğimi bir ağırlığı dürterek ölçülen eğimle karşılaştırmak
Senin sıran

'W1', 'b1', 'W2', 'b2'nin her biri için 5 girdi üzerindeki en büyük göreli hatayı döndüren check(grad_fn) yaz. wrong'u hatası 0.01'in üstünde olan sıralı adlara, ve cause'u bir cümleye ayarla: geri geçişte yanlış gradyanların olduğu yerde ne duruyor, ve orada muhtemelen ne atlandı. Sonra fixed_grads'ı kendin yaz (ileri geçiş m.forward; kayıp ve eğimi studio.loss_and_dout). Sonra temel çalıştırmanı (tohum 0) her biriyle eğit ve iki puanı da yazdır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.