Tìm và sửa lỗi được cài sẵn
Vì sao điều này quan trọng Những lỗi tệ nhất trong học máy không làm sập chương trình. Chúng huấn luyện, tệ hơn mức đáng có một chút, và không ai nhận ra. Một phép kiểm tra gradient tìm ra chúng trong vài giây.
Một đồng nghiệp đã viết lại mã gradient của xưởng để nó nhanh hơn: suspect_grads. Bạn không được đọc nó, như thường xảy ra trong công việc thật (một thư viện, nhánh của một đồng đội, mã được sinh ra). Huấn luyện với nó, đường cơ sở của bạn vẫn học: trên kế hoạch mặc định của khóa học điểm language chỉ tệ hơn khoảng 0.05, và ở images, với seed 0, nó thậm chí còn điểm cao hơn. Cả hai đều nằm trong mức mà một người đọc cẩu thả gọi là nhiễu. Có gì đó trong nó sai.
Hãy kiểm tra nó theo cách Mô-đun 3 đã dạy: đẩy nhẹ một trọng số một lượng nhỏ, đo thay đổi của giá trị mất mát, và so sánh với độ dốc mà mã tuyên bố. Làm điều này cho 5 phần tử của mỗi W1, b1, W2 và b2 trên một mô hình nhỏ (độ rộng 8, một batch 16), chọn trong số các phần tử có độ dốc tuyên bố khác không (với đầu vào one-hot, hầu hết các độ dốc của W1 đúng bằng 0, và một phép kiểm tra ở đó chẳng chứng minh được gì). Đo giá trị mất mát bằng float64 với studio.loss64 và một lần đẩy nhẹ 1e-4; coi một sai số tương đối trên 0.01 là sai.
Từ và ký hiệu trong bài học này
- đường cơ sở
- lần chạy thông thường mà mọi thay đổi được đo so với nó, trên cùng các seed
- kiểm tra gradient
- so sánh độ dốc mà mã của bạn tính với độ dốc đo được bằng cách đẩy nhẹ một trọng số
Viết check(grad_fn) trả về, cho mỗi 'W1', 'b1', 'W2', 'b2', sai số tương đối lớn nhất trên 5 phần tử. Gán wrong là các tên đã sắp xếp có sai số trên 0.01, và cause là một câu: cái gì trong lượt lan truyền ngược nằm ở nơi các gradient sai, và cái gì có lẽ đã bị bỏ sót ở đó. Rồi tự viết fixed_grads (lượt lan truyền xuôi là m.forward; giá trị mất mát và độ dốc của nó là studio.loss_and_dout). Rồi huấn luyện đường cơ sở của bạn (seed 0) với mỗi cái và in cả hai điểm.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.