Chương trình học Bài 79 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

BatchNorm làm gì với các con số

Vì sao điều này quan trọng BatchNorm đã làm cho các mạng rất sâu huấn luyện được vào năm 2015. Hãy xem nó làm gì với các con số trước khi dựng nó.

Xem nó

Hãy chạy hoạt ảnh. Đầu ra của một lớp tới với trung bình và độ phân tán riêng cho mỗi đặc trưng, cái thì khổng lồ, cái thì rất nhỏ, cái thì bị dịch. BatchNorm lấy mỗi đặc trưng, trên batch hiện tại, trừ trung bình của nó và chia cho độ phân tán của nó. Mọi đặc trưng giờ có trung bình 0 và độ phân tán 1. Rồi nó nhân với một gamma đã học và cộng một beta đã học, để mạng có thể chọn một thang khác nếu điều đó có ích.

Một ghi chú trung thực: vì sao BatchNorm giúp ích vẫn còn tranh luận. Lời giải thích của bài báo gốc ("internal covariate shift") không còn được chấp nhận; địa hình mất mát mượt hơn và cho phép tốc độ học lớn hơn là những lý do có nhiều bằng chứng hơn. Điều nó làm với các con số thì không có gì phải nghi ngờ.

BatchNorm: chuẩn hóa mỗi đặc trưng bằng thống kê của batch hiện tại, rồi co giãn lại bằng gamma và beta đã học.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
BatchNorm (gamma, beta)
chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
Đến lượt bạn

Dự đoán trước khi tính: một đặc trưng có các giá trị [2, 4, 6, 8] trong một batch, gamma là 3 và beta là 1. Gán my_output là bốn con số BatchNorm tạo ra (dùng eps = 0). Rồi viết batchnorm_forward(X, gamma, beta, eps=1e-5) cho một batch 2D.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.