Một núm âm lượng cho mỗi trọng số (RMSProp)
Vì sao điều này quan trọng Momentum làm mượt hướng đi. RMSProp sửa vấn đề còn lại: một số trọng số nhận gradient khổng lồ và những cái khác nhận gradient rất nhỏ, nên một tốc độ học không thể hợp với tất cả.
RMSProp giữ, cho mỗi trọng số, một trung bình chạy của gradient bình phương của nó: gradient của trọng số đó thường to tới đâu. Rồi nó chia mỗi bước cho căn bậc hai của giá trị đó, như vặn nhỏ âm lượng ở những trọng số ồn ào và vặn to ở những trọng số yên lặng.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Trên cái bát bị kéo giãn, hướng dốc có gradient to và bị vặn nhỏ, hướng thoải được vặn to, và cái bát hoạt động gần như thể nó tròn. Điều đó hoạt động ở đây vì hướng dốc và hướng thoải của cái bát thẳng hàng với hai trọng số. Nghiêng thung lũng 45 độ, để mỗi trọng số thấy một hỗn hợp của cả hai hướng, và một núm âm lượng cho mỗi trọng số không thể tách chúng ra: RMSProp và Adam khi đó giúp ít hơn nhiều. Chúng co giãn theo độ to của gradient của mỗi trọng số, không theo hình dạng thật của thung lũng.
eps: một con số rất nhỏ như 1e-8 ngăn phép chia cho không.
Từ và ký hiệu trong bài học này
- momentum (beta)
- giữ lại một phần vận tốc của bước trước
- RMSProp
- chia bước của mỗi trọng số cho độ lớn thường thấy của gradient của nó
- Adam (m, v, t)
- momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
Viết rmsprop(grad, start, lr, rho, steps, eps=1e-8) trả về vị trí cuối cùng. Bài kiểm tra được giấu so sánh vị trí của bạn với bản tham chiếu sau vài bước.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.