Chương trình học Bài 68 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Một quả bóng nặng (momentum)

Vì sao điều này quan trọng Momentum là cách sửa hữu ích nhất cho các thung lũng bị kéo giãn, và gần như mọi bộ tối ưu bạn sẽ dùng đều có nó.

Xem nó trước

Hãy chạy hoạt ảnh. Gradient descent thuần zíc zắc qua lại thung lũng. Một quả bóng nặng giữ lại một phần vận tốc trước đó của nó: các cú zíc zắc triệt tiêu nhau (trái, phải, trái) trong khi lực kéo xuống dốc đều đặn dọc theo thung lũng cộng dồn bước này qua bước khác. Vậy nó lao nhanh dọc theo đáy thung lũng.

Gọi tên nó

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

Với beta = 0.9 quả bóng nhớ khoảng 10 cú đẩy gần nhất.

Vì sao đi xuống thuần ở đây chậm

Trên cái bát này hướng dốc dốc gấp 50 lần hướng thoải. Tốc độ học của việc đi xuống thuần bị giới hạn bởi hướng dốc: trên 2/50 = 0.04 các bước qua thung lũng tăng dần và nó bùng nổ. Ngay dưới giới hạn, ở 0.039, nó zíc zắc qua thung lũng (mỗi bước vượt quá và rơi sang phía bên kia) trong khi nhích dần dọc theo nó, vì 0.039 là một tốc độ rất nhỏ cho hướng thoải. Momentum có thể dùng một tốc độ lớn hơn và giữ tốc độ dọc theo thung lũng: nó cũng vượt quá theo hướng dốc, nhưng những cú lắc đó triệt tiêu nhau trong khi các cú đẩy dọc theo đáy cộng dồn.

(Đúng tại lr = 1/50 = 0.02 hoàn toàn không có zíc zắc: một bước rơi xuống đáy thung lũng, và phần còn lại là cuộc bò chậm. Hãy thử.)

(Cảnh vẽ một thung lũng thoải hơn, dốc gấp 25 lần theo chiều ngang, với beta 0.5, để các đường đi vừa màn hình; các con số trong bài học này là cho thung lũng gấp 50 lần mà bạn viết mã.)

Momentum: một tổng chạy của các gradient gần đây làm mượt các cú zíc zắc và tích tốc độ theo những hướng nhất quán.

Từ và ký hiệu trong bài học này
momentum (beta)
giữ lại một phần vận tốc của bước trước
Đến lượt bạn

Viết steps_plain(lr) và steps_momentum(lr, beta): bắt đầu tại (1, 1) trên cái bát bị kéo giãn, đếm số bước cho tới khi khoảng cách tới đáy dưới 0.001 (tối đa 20.000). Cho mỗi cái thiết lập tốt của riêng nó: đi xuống thuần ở lr 0.039, ngay dưới giới hạn của nó, và momentum ở lr 0.06 với beta 0.6. Momentum phải cần nhiều nhất một phần ba số bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.