Chương trình học Bài 78 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Những ReLU chết

Vì sao điều này quan trọng Một ReLU tắt với mọi đầu vào không cho gradient nào đi qua, nên nó không bao giờ học lại được. Cả những lớp có thể lặng lẽ chết.

Một đơn vị là chết nếu đầu ra của nó bằng không với mọi ví dụ trong một batch. Nguyên nhân phổ biến: một độ lệch âm lớn, hoặc một lần cập nhật khổng lồ đã đẩy các trọng số của nó xa về phía âm.

Những con số nhỏ xíu

Giá trị kích hoạt cho 4 ví dụ và 3 đơn vị: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Đơn vị 1 bằng không ở mọi nơi: chết. Đơn vị 3 kích hoạt một lần: còn sống. Tỉ lệ chết: 1 trên 3.

Cách sửa: trọng số ban đầu hợp lý, độ lệch bắt đầu từ 0 (hoặc hơi dương), một tốc độ học nhỏ hơn, hoặc leaky ReLU, giữ một độ dốc nhỏ (chẳng hạn 0.01) cho đầu vào âm để đơn vị có thể hồi phục.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Đến lượt bạn

Viết dead_fraction(H) cho một ma trận kích hoạt (ví dụ x đơn vị). Rồi, với lớp bên dưới, vốn được khởi đầu với độ lệch -4, viết fixed_layer(X, W) giữ cùng các trọng số nhưng dùng độ lệch bằng không và một leaky ReLU với độ dốc 0.01; tỉ lệ chết của nó (đếm các đầu ra đúng bằng không) phải là 0.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.