Lượt xuôi của BatchNorm và các trung bình chạy
Vì sao điều này quan trọng Lúc huấn luyện BatchNorm dùng thống kê riêng của batch. Khi mô hình được dùng trên từng ví dụ một thì không có batch, nên nó phải ghi nhớ thống kê điển hình từ lúc huấn luyện.
Trong khi huấn luyện, giữ các trung bình chạy của trung bình và phương sai của mỗi đặc trưng: running = (1 - momentum) * running + momentum * batch_value, với momentum 0.1. Ở chế độ đánh giá, chuẩn hóa bằng các giá trị chạy đó thay vì của batch.
Chế độ huấn luyện: dùng thống kê của batch và cập nhật các trung bình chạy. Chế độ đánh giá: dùng các trung bình chạy đã lưu và không thay đổi gì.
Từ và ký hiệu trong bài học này
- Xavier, LeCun, He
- độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
- BatchNorm (gamma, beta)
- chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
Viết lớp BatchNorm(n, momentum=0.1, eps=1e-5) với gamma (các số một), beta (các số không), running_mean (các số không), running_var (các số một), một cờ training (bắt đầu là True) và __call__(X) hoạt động như được mô tả. Với running_var, phương sai batch như np.var tính (chia cho n) là lựa chọn của khóa học; PyTorch giữ phương sai không chệch (chia cho n - 1), và cả hai đều được chấp nhận.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.