Chĩa bộ kiểm tra vào bộ máy của bạn
Vì sao điều này quan trọng Một bộ máy có một quy tắc sai vẫn sẽ huấn luyện, chậm và tệ, và có thể bạn không bao giờ biết. Từ giờ trở đi, mọi phép toán mới đều được kiểm tra trước khi được dùng.
Bộ kiểm tra ở Mô-đun 3 của bạn đã đẩy nhẹ các mảng NumPy. Ở đây, hãy đẩy data của một Tensor tại chỗ, dựng lại phép tính, và so sánh với những gì backward để lại trong .grad.
Công thức: (1) dựng đầu ra và gọi backward() một lần để có gradient của bộ máy. (2) Với mỗi đầu vào và mỗi phần tử, đẩy data lên và xuống, dựng lại, và đọc giá trị của đầu ra. (3) Báo cáo sai số tương đối lớn nhất.
Tóm tắt Đừng bao giờ tin một quy tắc lượt ngược mới cho tới khi nó đã qua một phép kiểm tra.
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- .grad
- gradient của giá trị mất mát cuối cùng theo Tensor này
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
Viết engine_check(build, inputs): build() trả về một Tensor vô hướng được tính từ các Tensor trong list inputs. Trả về sai số tương đối lớn nhất giữa gradient của bộ máy và gradient từ việc đẩy nhẹ. Đặt lại grad của mỗi đầu vào về các số không trước khi gọi backward. Bài kiểm tra được giấu cài ba lỗi vào bộ máy, từng cái một; bộ kiểm tra của bạn phải báo trên 1e-3 cho mỗi cái, và dưới 1e-6 cho bộ máy đúng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.