Chương trình học Bài 69 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Một núm âm lượng cho mỗi trọng số (RMSProp)

Vì sao điều này quan trọng Momentum làm mượt hướng đi. RMSProp sửa vấn đề còn lại: một số trọng số nhận gradient khổng lồ và những cái khác nhận gradient rất nhỏ, nên một tốc độ học không thể hợp với tất cả.

RMSProp giữ, cho mỗi trọng số, một trung bình chạy của gradient bình phương của nó: gradient của trọng số đó thường to tới đâu. Rồi nó chia mỗi bước cho căn bậc hai của giá trị đó, như vặn nhỏ âm lượng ở những trọng số ồn ào và vặn to ở những trọng số yên lặng.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Trên cái bát bị kéo giãn, hướng dốc có gradient to và bị vặn nhỏ, hướng thoải được vặn to, và cái bát hoạt động gần như thể nó tròn. Điều đó hoạt động ở đây vì hướng dốc và hướng thoải của cái bát thẳng hàng với hai trọng số. Nghiêng thung lũng 45 độ, để mỗi trọng số thấy một hỗn hợp của cả hai hướng, và một núm âm lượng cho mỗi trọng số không thể tách chúng ra: RMSProp và Adam khi đó giúp ít hơn nhiều. Chúng co giãn theo độ to của gradient của mỗi trọng số, không theo hình dạng thật của thung lũng.

eps: một con số rất nhỏ như 1e-8 ngăn phép chia cho không.

Từ và ký hiệu trong bài học này
momentum (beta)
giữ lại một phần vận tốc của bước trước
RMSProp
chia bước của mỗi trọng số cho độ lớn thường thấy của gradient của nó
Adam (m, v, t)
momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
Đến lượt bạn

Viết rmsprop(grad, start, lr, rho, steps, eps=1e-8) trả về vị trí cuối cùng. Bài kiểm tra được giấu so sánh vị trí của bạn với bản tham chiếu sau vài bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.