Adam: quả bóng cộng các núm vặn
Vì sao điều này quan trọng Adam là bộ tối ưu mặc định cho phần lớn học sâu. Nó là momentum và RMSProp cùng nhau, cộng một hiệu chỉnh nhỏ rất quan trọng lúc bắt đầu.
Những con số nhỏ xíu trước
Một trọng số, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradient ở bước 1 là 2.0. Trung bình chạy của gradient, m, bắt đầu từ 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Nhưng gradient gần đây thật là 2, không phải 0.2: m bị lệch về phía số không ban đầu của nó. Chia cho (1 - 0.9 mũ t) để sửa: 0.2 / 0.1 = 2.0. Cùng hiệu chỉnh đó cho trung bình bình phương v: 0.004 / 0.001 = 4.0. Bước = 0.1 * 2 / sqrt(4) = 0.1.
Không có hiệu chỉnh, bước đầu tiên sẽ là 0.1 * 0.2 / sqrt(0.004) = 0.32, lớn hơn ba lần, và trong một mạng thật những bước đầu hoang dại đó có thể phá hỏng phần khởi đầu của việc huấn luyện.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Hiệu chỉnh độ lệch (bias correction): chia cho (1 - beta mũ t) để các trung bình bắt đầu từ không không bị ước lượng thấp ở các bước đầu. t đếm số bước từ 1.
Từ và ký hiệu trong bài học này
- momentum (beta)
- giữ lại một phần vận tốc của bước trước
- RMSProp
- chia bước của mỗi trọng số cho độ lớn thường thấy của gradient của nó
- Adam (m, v, t)
- momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
Trước hết điền first_step_with và first_step_without: kích thước của bước 1 trong ví dụ ở trên, có và không có hiệu chỉnh độ lệch. Rồi viết lớp Adam(lr, b1=0.9, b2=0.999, eps=1e-8) với một phương thức step(p, g) trả về mảng tham số đã cập nhật.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.