Vì sao một cái bát bị kéo giãn thì chậm (độ điều kiện)
Vì sao điều này quan trọng Các địa hình mất mát thật dốc theo một số hướng và gần như phẳng theo những hướng khác. Sự lệch đó, không phải số trọng số, là điều khiến gradient descent thuần chậm.
Xem nó
Lấy f = (k x squared + y squared) / 2. Với k = 1 nó là một cái bát tròn. Với k = 100 nó là một thung lũng dài và hẹp: dốc theo chiều ngang, thoải theo chiều dọc. Tốc độ học phải hợp với cả hai hướng cùng lúc. Lựa chọn đơn lẻ tốt nhất, lr = 2 / (k + 1), khiến mỗi bước giữ lại (k - 1) / (k + 1) khoảng cách theo cả hai hướng: 0.98 khi k = 100. Lớn hơn nữa thì hướng dốc vượt quá và ổn định chậm hơn (trên 2 / k nó tăng không giới hạn); nhỏ hơn nữa thì hướng thoải còn bò chậm hơn. Vậy lượt đi zíc zắc qua lại thung lũng trong khi nhích dần dọc theo nó.
Số điều kiện (condition number): tỉ lệ giữa độ cong dốc nhất và độ cong thoải nhất, ở đây là k. Gradient descent thuần cần khoảng k bước để tiến triển tốt.
Đoán đường cong: trước khi chạy, hãy dự đoán cần bao nhiêu bước để tới trong khoảng 0.001 quanh đáy với k = 1, 10 và 100, dùng tốc độ học cố định tốt nhất, 2 / (k + 1).
Tóm tắt Độ kéo giãn làm chậm việc đi xuống thuần theo tỉ lệ với độ kéo giãn.
Từ và ký hiệu trong bài học này
- số điều kiện
- hướng dốc nhất dốc hơn hướng thoải nhất bao nhiêu lần
Điền my_guess (ba số bước), rồi viết steps_to_converge(k): bắt đầu tại (1, 1), dùng lr = 2 / (k + 1), và đếm số bước cho tới khi khoảng cách tới (0, 0) dưới 0.001 (dừng ở 100.000).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.