Chương trình học Bài 46 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Một bộ kiểm tra gradient bạn sẽ dùng suốt khóa học

Vì sao điều này quan trọng Một gradient sai không gây sập. Việc huấn luyện chỉ lặng lẽ tệ đi. Một bộ kiểm tra gradient bắt được sai lầm trong vài giây, và bạn sẽ dùng cái này ở mọi mô-đun.

Ý tưởng là lần đẩy của Mô-đun 2, làm cho mọi trọng số: đẩy trọng số i lên và xuống một lượng h, đo giá trị mất mát cả hai lần, và chia hiệu cho 2h. So sánh với gradient từ công thức của bạn.

Gần tới đâu là gần?

Dùng sai số tương đối: |a - b| chia cho giá trị lớn hơn trong |a| và |b| (hoặc 1e-8 nếu cả hai đều rất nhỏ). Dưới 1e-6 là qua; trên 1e-3 gần như luôn có nghĩa là có lỗi.

Kiểm tra gradient (gradient check): so sánh một gradient giải tích (từ công thức của bạn) với một gradient số (từ việc đẩy nhẹ).

Tóm tắt Một trọng tài chậm nhưng đáng tin. Hãy dùng nó trước khi tin bất kỳ gradient mới nào.

Từ và ký hiệu trong bài học này
tốc độ học (lr)
mỗi bước huấn luyện lớn tới đâu
kiểm tra gradient
so sánh công thức gradient của bạn với một ước lượng đẩy-và-đo
Đến lượt bạn

Viết numeric_grad(f, w, h=1e-5) (w là một mảng NumPy có shape bất kỳ; trả về một mảng cùng shape) và grad_check(f, grad, w) trả về sai số tương đối lớn nhất. Ở đây f(w) nhận mảng trọng số và trả về giá trị mất mát dưới dạng một con số, và grad là một mảng (gradient từ công thức của bạn tại w, đã được tính sẵn), không phải một hàm. Đừng thay đổi w vĩnh viễn. Để ghé mọi vị trí của một mảng có shape bất kỳ, for idx in np.ndindex(w.shape): lần lượt cho mỗi tuple chỉ số. Bài kiểm tra được giấu đưa cho bộ kiểm tra của bạn ba gradient sai một cách tinh vi; mỗi cái phải có điểm trên 1e-3.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.