Quá nhỏ, quá lớn: biến mất và bùng nổ
Vì sao điều này quan trọng Một tín hiệu biến mất nghĩa là mọi gradient gần như bằng không và việc huấn luyện đình trệ. Một tín hiệu bùng nổ nghĩa là tràn số và nan. Cả hai đều đến từ trọng số ban đầu.
Xem nó
Hãy chạy hoạt ảnh: cùng một chồng 20 lớp được khởi đầu theo ba cách. Quá nhỏ, và tín hiệu phai dần qua từng lớp thành không. Quá lớn, và nó gấp đôi rồi gấp đôi cho tới khi tràn số. Vừa đúng, và nó giữ ổn định suốt chặng đường. Gradient trên đường quay về chịu cùng số phận.
Biến mất (vanishing): giá trị kích hoạt hay gradient co dần về không qua các lớp. Bùng nổ (exploding): tăng không giới hạn.
Từ và ký hiệu trong bài học này
- biến mất, bùng nổ
- tín hiệu hay gradient co lại thành không hay tăng không giới hạn qua các lớp
- Xavier, LeCun, He
- độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Dùng spreads của bạn từ bài học trước (được cung cấp), viết verdict(scale) trả về "vanish" nếu độ phân tán cuối cùng dưới 1e-3, "explode" nếu trên 1e3, nếu không thì "ok". Rồi điền my_predictions cho các thang 0.05, 0.14 và 0.5 trước khi chạy.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.