Chương trình học Bài 70 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Adam: quả bóng cộng các núm vặn

Vì sao điều này quan trọng Adam là bộ tối ưu mặc định cho phần lớn học sâu. Nó là momentum và RMSProp cùng nhau, cộng một hiệu chỉnh nhỏ rất quan trọng lúc bắt đầu.

Những con số nhỏ xíu trước

Một trọng số, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradient ở bước 1 là 2.0. Trung bình chạy của gradient, m, bắt đầu từ 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Nhưng gradient gần đây thật là 2, không phải 0.2: m bị lệch về phía số không ban đầu của nó. Chia cho (1 - 0.9 mũ t) để sửa: 0.2 / 0.1 = 2.0. Cùng hiệu chỉnh đó cho trung bình bình phương v: 0.004 / 0.001 = 4.0. Bước = 0.1 * 2 / sqrt(4) = 0.1.

Không có hiệu chỉnh, bước đầu tiên sẽ là 0.1 * 0.2 / sqrt(0.004) = 0.32, lớn hơn ba lần, và trong một mạng thật những bước đầu hoang dại đó có thể phá hỏng phần khởi đầu của việc huấn luyện.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Hiệu chỉnh độ lệch (bias correction): chia cho (1 - beta mũ t) để các trung bình bắt đầu từ không không bị ước lượng thấp ở các bước đầu. t đếm số bước từ 1.

Từ và ký hiệu trong bài học này
momentum (beta)
giữ lại một phần vận tốc của bước trước
RMSProp
chia bước của mỗi trọng số cho độ lớn thường thấy của gradient của nó
Adam (m, v, t)
momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
Đến lượt bạn

Trước hết điền first_step_with và first_step_without: kích thước của bước 1 trong ví dụ ở trên, có và không có hiệu chỉnh độ lệch. Rồi viết lớp Adam(lr, b1=0.9, b2=0.999, eps=1e-8) với một phương thức step(p, g) trả về mảng tham số đã cập nhật.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.