Chương trình học Bài 64 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

Những bề mặt mất mát bạn đi bộ được

Vì sao điều này quan trọng Mỗi bộ tối ưu là một cách khác nhau để đi xuống dốc trên một địa hình bạn không nhìn thấy. Hãy đi một cái đơn giản trước.

Hãy hình dung giá trị mất mát như một địa hình: hai trọng số là vị trí của bạn trên một tấm bản đồ, và giá trị mất mát là độ cao. Huấn luyện là đi xuống dốc. Gradient chỉ lên dốc, nên mỗi bước đi theo hướng ngược lại: position = position - lr * gradient.

Những con số nhỏ xíu

Trên cái bát f(x, y) = x squared + y squared, gradient tại (3, 4) là (6, 8). Với lr 0.1 bước đi tới (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Mỗi bước giữ lại 80% khoảng cách tới đáy, nên sau 20 bước bạn ở khoảng 1% so với nơi bắt đầu.

Tốc độ học: bước đi xa tới đâu so với gradient. Quá nhỏ thì bò; quá lớn thì vượt quá.

Tóm tắt Bước ngược với gradient; tốc độ học đặt độ dài sải chân.

Đến lượt bạn

Viết descend(grad, start, lr, steps) trả về list các vị trí đã đi qua (kể cả điểm bắt đầu) dưới dạng mảng NumPy. Rồi chọn my_lr để, trên cái bát từ bài học, bắt đầu tại (3, 4), bạn ở trong khoảng 0.01 quanh đáy sau nhiều nhất 15 bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.