Modeller Nasıl Öğrenir
A yeni bir ağ rastgele ağırlıklara sahiptir ve işe yaramaz. Training, çıktı iyi olana kadar bu ağırlıkları yönlendirme sürecidir. İki fikir bunu yönlendirir.
1. Bir loss function yanlışlığı ölçer
Tahminlerin ne kadar kötü olduğunu söyleyen tek bir sayıya ihtiyacın var. Regresyon için standart mean squared error (MSE): gerçek değer ile tahmin arasındaki farkların karelerinin ortalamasını almaktır.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Squaring büyük hataları daha sert cezalandırır ve her şeyi pozitif tutar. Düşük loss daha iyidir; sıfır loss mükemmel bir uyum demektir.
2. Gradient descent aşağı doğru yuvarlanır
Kaybı engebeli bir yüzey, ağırlıkları ise bu yüzeydeki konumun olarak hayal et. gradient eğimdir: yukarıya, daha fazla kayba doğru bakar. Bu yüzden kaybı azaltmak için opposite yönde küçük bir adım atarsın.
w = w - learning_rate * gradientlearning rate adım boyutudur. Bunu binlerce kez tekrarla ve ağırlıklar düşük kayıplı bir vadiye doğru yuvarlansın. Eğitim sadece bu döngüden ibarettir.
MSE içeren bir oyuncak model y = w * x için, w'ye göre kayıp gradyanı mean(2 * (w*x - y) * x) olarak hesaplanır. Tam olarak bir adım atacaksın ve kaybın düştüğünü göreceksin.
Bir ağırlıktan tüm bir ağa
Geçen derste kurduğun iki katmanlı ağın tek değil, birçok ağırlığı var. Onu eğitmek, her bir her ağırlığa göre kayıp fonksiyonunun gradyanını katman katman bulmak demektir. Bu backpropagation: kayıptan başla ve her ağırlığın eğimini elde etmek için her katman boyunca zincir kuralını geriye doğru uygula, sonra hepsinde aynı anda aşağı doğru adım at. Aritmetik daha ağır ama fikir aşağıda attığın tek adımla aynı. Gerçek kodda bunu asla elle türetmezsin: PyTorch gibi frameworkler ileri geçişi kaydeder ve bir loss.backward() çağrısı senin için her gradyanı hesaplar. Mekanizmanın somut kalması için burada tek ağırlıklı versiyonu yapıyoruz.
mse(y_true, y_pred) (kare farklarının ortalaması) fonksiyonunu uygula. Sonra, oyuncak model y = w * x için loss_before hesapla, grad = np.mean(2 * (w*x - y) * x) ve w = w - lr * grad kullanarak bir gradyan inişi adımı at, ardından loss_after hesapla. Kayıp değeri düşmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.