Lượt ngược của BatchNorm trên một batch 3 con số (tùy chọn)
Vì sao điều này quan trọng Đây là quy tắc lượt ngược khó nhất trong Phần 1, và là tùy chọn. Bài học của nó: khi mọi đầu ra phụ thuộc vào mọi đầu vào (qua trung bình và độ phân tán), gradient nhận thêm các số hạng.
Hãy làm nó trên một đặc trưng với một batch 3 trước. Với x_hat = (x - mean) / spread và y = gamma x_hat + beta, gradient theo x không chỉ là gamma / spread nhân gradient tới. Đẩy một x dịch trung bình và độ phân tán, điều này dịch luôn mọi đầu ra khác. Kết quả, theo từng đặc trưng, với g là gradient tới và N là kích thước batch:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Hãy đọc nó như sau: gradient thuần, trừ phần chỉ dịch mọi thứ cùng nhau (số hạng trung bình), trừ phần chỉ kéo giãn mọi thứ cùng nhau (số hạng độ phân tán). Hai phần đó bị chính việc chuẩn hóa triệt tiêu.
Một lời giải có hướng dẫn mở ra từ các gợi ý nếu bạn bị bí. Bỏ qua bài học này không chặn gì cả.
Từ và ký hiệu trong bài học này
- Xavier, LeCun, He
- độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
- BatchNorm (gamma, beta)
- chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
Viết batchnorm_backward(X, gamma, g, eps=1e-5) trả về (dX, dgamma, dbeta) cho một batch 2D, trong đó g là gradient tới đầu ra.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.