Đi xuống dốc (tự tay làm gradient descent)
Vì sao điều này quan trọng Chọn trọng số bằng tay không mở rộng được tới một triệu trọng số. Gradient cho mọi trọng số biết đâu là xuống dốc cùng lúc.
Gọi tên nó
Với giá trị mất mát L = mean((X @ w + b - y) bình phương), đẩy w1 và L thay đổi 2 * mean(error * x1), trong đó error là dự đoán trừ sự thật. Đó là đạo hàm của L theo w1. Tất cả cùng lúc: grad_w = 2 * X.T @ error / n, và grad_b = 2 * mean(error).
Đọc nó bằng lời thường
Nếu các dự đoán quá cao (error dương) ở những ngôi nhà có diện tích lớn, thì hạ w1 sẽ giúp, và gradient của w1 dương, nên ta trừ nó đi. Mỗi bước: w = w - lr * grad_w, trong đó lr, tốc độ học, đặt kích thước bước.
Gradient descent: lặp lại "tính gradient, bước một bước nhỏ ngược với nó". Tốc độ học (learning rate): kích thước của mỗi bước.
Đoán đường cong
Trước khi chạy lần huấn luyện của bạn, hãy đoán giá trị mất mát ở các bước 0, 10, 50 và 200 trong my_guess. Mã in phỏng đoán của bạn cạnh giá trị thật.
Tóm tắt Gradient, bước ngược với nó, lặp lại.
Từ và ký hiệu trong bài học này
- trọng số (w, W), độ lệch (b)
- các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
- tốc độ học (lr)
- mỗi bước huấn luyện lớn tới đâu
Viết gradients(X, y, w, b) trả về (grad_w, grad_b), và train(X, y, lr, steps) bắt đầu từ các số không và trả về (w, b, losses), trong đó losses giữ giá trị mất mát trước mỗi bước. Điền my_guess trước. Giá trị mất mát sau huấn luyện phải kết thúc dưới 0.01 với lr 0.5 và 201 bước mà mã khởi đầu yêu cầu.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.