Chương trình học Bài 76 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Quá nhỏ, quá lớn: biến mất và bùng nổ

Vì sao điều này quan trọng Một tín hiệu biến mất nghĩa là mọi gradient gần như bằng không và việc huấn luyện đình trệ. Một tín hiệu bùng nổ nghĩa là tràn số và nan. Cả hai đều đến từ trọng số ban đầu.

Xem nó

Hãy chạy hoạt ảnh: cùng một chồng 20 lớp được khởi đầu theo ba cách. Quá nhỏ, và tín hiệu phai dần qua từng lớp thành không. Quá lớn, và nó gấp đôi rồi gấp đôi cho tới khi tràn số. Vừa đúng, và nó giữ ổn định suốt chặng đường. Gradient trên đường quay về chịu cùng số phận.

Biến mất (vanishing): giá trị kích hoạt hay gradient co dần về không qua các lớp. Bùng nổ (exploding): tăng không giới hạn.

Từ và ký hiệu trong bài học này
biến mất, bùng nổ
tín hiệu hay gradient co lại thành không hay tăng không giới hạn qua các lớp
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Đến lượt bạn

Dùng spreads của bạn từ bài học trước (được cung cấp), viết verdict(scale) trả về "vanish" nếu độ phân tán cuối cùng dưới 1e-3, "explode" nếu trên 1e3, nếu không thì "ok". Rồi điền my_predictions cho các thang 0.05, 0.14 và 0.5 trước khi chạy.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.