Một bộ kiểm tra gradient bạn sẽ dùng suốt khóa học
Vì sao điều này quan trọng Một gradient sai không gây sập. Việc huấn luyện chỉ lặng lẽ tệ đi. Một bộ kiểm tra gradient bắt được sai lầm trong vài giây, và bạn sẽ dùng cái này ở mọi mô-đun.
Ý tưởng là lần đẩy của Mô-đun 2, làm cho mọi trọng số: đẩy trọng số i lên và xuống một lượng h, đo giá trị mất mát cả hai lần, và chia hiệu cho 2h. So sánh với gradient từ công thức của bạn.
Gần tới đâu là gần?
Dùng sai số tương đối: |a - b| chia cho giá trị lớn hơn trong |a| và |b| (hoặc 1e-8 nếu cả hai đều rất nhỏ). Dưới 1e-6 là qua; trên 1e-3 gần như luôn có nghĩa là có lỗi.
Kiểm tra gradient (gradient check): so sánh một gradient giải tích (từ công thức của bạn) với một gradient số (từ việc đẩy nhẹ).
Tóm tắt Một trọng tài chậm nhưng đáng tin. Hãy dùng nó trước khi tin bất kỳ gradient mới nào.
Từ và ký hiệu trong bài học này
- tốc độ học (lr)
- mỗi bước huấn luyện lớn tới đâu
- kiểm tra gradient
- so sánh công thức gradient của bạn với một ước lượng đẩy-và-đo
Viết numeric_grad(f, w, h=1e-5) (w là một mảng NumPy có shape bất kỳ; trả về một mảng cùng shape) và grad_check(f, grad, w) trả về sai số tương đối lớn nhất. Ở đây f(w) nhận mảng trọng số và trả về giá trị mất mát dưới dạng một con số, và grad là một mảng (gradient từ công thức của bạn tại w, đã được tính sẵn), không phải một hàm. Đừng thay đổi w vĩnh viễn. Để ghé mọi vị trí của một mảng có shape bất kỳ, for idx in np.ndindex(w.shape): lần lượt cho mỗi tuple chỉ số. Bài kiểm tra được giấu đưa cho bộ kiểm tra của bạn ba gradient sai một cách tinh vi; mỗi cái phải có điểm trên 1e-3.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.