Chương trình học Bài 75 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Tín hiệu qua 20 lớp

Vì sao điều này quan trọng Trước khi một mạng sâu học được bất cứ thứ gì, tín hiệu phải sống sót qua chuyến đi qua mọi lớp. Thường thì nó không sống sót, và không bộ tối ưu nào sửa được điều đó.

Đẩy một batch các đầu vào ngẫu nhiên qua 20 lớp h = relu(h @ W), với mọi trọng số được rút từ một phân phối chuẩn có độ phân tán nào đó. Sau mỗi lớp, đo độ phân tán (độ lệch chuẩn) của các giá trị kích hoạt.

Những con số nhỏ xíu

Mỗi lớp nhân kích thước điển hình của tín hiệu với gần cùng một hệ số. Nếu hệ số đó là 0.5, sau 20 lớp tín hiệu là 0.5 mũ 20: khoảng một phần triệu. Nếu nó là 2, tín hiệu lớn hơn khoảng một triệu lần. Chỉ một hệ số gần 1 mới sống sót.

Tóm tắt Độ sâu biến những thay đổi nhỏ ở mỗi lớp thành những thay đổi khổng lồ.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Đến lượt bạn

Viết spreads(scale, depth=20, width=100, seed=0): bắt đầu từ h = rng.standard_normal((256, width)), rồi với mỗi lớp rút W = rng.normal(0, scale, (width, width)) và đặt h = relu(h @ W). Trả về list các h.std() sau mỗi lớp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.