Chương trình học Bài 40 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Đi xuống dốc (tự tay làm gradient descent)

Vì sao điều này quan trọng Chọn trọng số bằng tay không mở rộng được tới một triệu trọng số. Gradient cho mọi trọng số biết đâu là xuống dốc cùng lúc.

Gọi tên nó

Với giá trị mất mát L = mean((X @ w + b - y) bình phương), đẩy w1 và L thay đổi 2 * mean(error * x1), trong đó error là dự đoán trừ sự thật. Đó là đạo hàm của L theo w1. Tất cả cùng lúc: grad_w = 2 * X.T @ error / n, và grad_b = 2 * mean(error).

Đọc nó bằng lời thường

Nếu các dự đoán quá cao (error dương) ở những ngôi nhà có diện tích lớn, thì hạ w1 sẽ giúp, và gradient của w1 dương, nên ta trừ nó đi. Mỗi bước: w = w - lr * grad_w, trong đó lr, tốc độ học, đặt kích thước bước.

Gradient descent: lặp lại "tính gradient, bước một bước nhỏ ngược với nó". Tốc độ học (learning rate): kích thước của mỗi bước.

Đoán đường cong

Trước khi chạy lần huấn luyện của bạn, hãy đoán giá trị mất mát ở các bước 0, 10, 50 và 200 trong my_guess. Mã in phỏng đoán của bạn cạnh giá trị thật.

Tóm tắt Gradient, bước ngược với nó, lặp lại.

Từ và ký hiệu trong bài học này
trọng số (w, W), độ lệch (b)
các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
tốc độ học (lr)
mỗi bước huấn luyện lớn tới đâu
Đến lượt bạn

Viết gradients(X, y, w, b) trả về (grad_w, grad_b), và train(X, y, lr, steps) bắt đầu từ các số không và trả về (w, b, losses), trong đó losses giữ giá trị mất mát trước mỗi bước. Điền my_guess trước. Giá trị mất mát sau huấn luyện phải kết thúc dưới 0.01 với lr 0.5 và 201 bước mà mã khởi đầu yêu cầu.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.