Lượt ngược của tích chập
Vì sao điều này quan trọng Để học các bộ lọc của nó, một CNN cần gradient của giá trị mất mát theo mọi trọng số bộ lọc. Hóa ra nó là một phép tích chập khác.
Những con số nhỏ xíu, ở 1D trước
Đầu vào x = [1, 2, 3, 4], bộ lọc w = [10, 20], đầu ra valid y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]. Trọng số w[0] đã chạm vào x[0], x[1], x[2] (một lần cho mỗi đầu ra), nên gradient của nó là g[0]*x[0] + g[1]*x[1] + g[2]*x[2]: đầu vào trượt đối với gradient tới g. Đầu vào x[1] đã được y[0] (với w[1]) và y[1] (với w[0]) dùng, nên gradient của nó gom g[0]*w[1] + g[1]*w[0].
Các quy tắc
- Gradient bộ lọc: trượt đầu vào đối với gradient tới (một phép tương quan valid của x với g).
- Gradient đầu vào: đệm g và trượt bộ lọc, đã lật, trên nó (một phép tích chập full).
Cùng ý tưởng ở 2D. Conv2d được mở khóa trong thư viện của khóa học sau bài học này.
Từ và ký hiệu trong bài học này
- tích chập
- trượt một lưới nhỏ các trọng số (một bộ lọc) trên một ảnh, một tích vô hướng cho mỗi vị trí
- bộ lọc, bản đồ đặc trưng
- lưới nhỏ các trọng số đã học; và ảnh các phản hồi của nó
Viết conv1d(x, w) (valid) và conv1d_backward(x, w, g) trả về (dx, dw). Rồi conv2d_backward(img, k, g) trả về (dimg, dk) cho tích chập valid 2D. Bài kiểm tra được giấu kiểm tra mọi gradient với một lần đẩy nhẹ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.