Chương trình học Bài 80 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Lượt xuôi của BatchNorm và các trung bình chạy

Vì sao điều này quan trọng Lúc huấn luyện BatchNorm dùng thống kê riêng của batch. Khi mô hình được dùng trên từng ví dụ một thì không có batch, nên nó phải ghi nhớ thống kê điển hình từ lúc huấn luyện.

Trong khi huấn luyện, giữ các trung bình chạy của trung bình và phương sai của mỗi đặc trưng: running = (1 - momentum) * running + momentum * batch_value, với momentum 0.1. Ở chế độ đánh giá, chuẩn hóa bằng các giá trị chạy đó thay vì của batch.

Chế độ huấn luyện: dùng thống kê của batch và cập nhật các trung bình chạy. Chế độ đánh giá: dùng các trung bình chạy đã lưu và không thay đổi gì.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
BatchNorm (gamma, beta)
chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
Đến lượt bạn

Viết lớp BatchNorm(n, momentum=0.1, eps=1e-5) với gamma (các số một), beta (các số không), running_mean (các số không), running_var (các số một), một cờ training (bắt đầu là True) và __call__(X) hoạt động như được mô tả. Với running_var, phương sai batch như np.var tính (chia cho n) là lựa chọn của khóa học; PyTorch giữ phương sai không chệch (chia cho n - 1), và cả hai đều được chấp nhận.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.