Chương trình học Bài 77 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Thang giữ tín hiệu ổn định (Xavier và He)

Vì sao điều này quan trọng Có một câu trả lời chính xác cho "trọng số ban đầu nên lớn tới đâu". Dùng nó và các mạng sâu trở nên huấn luyện được.

Những con số nhỏ xíu

Một đầu ra của một lớp cộng n_in tích của một đầu vào và một trọng số. Nếu đầu vào có độ phân tán 1 và trọng số có độ phân tán s, tổng của n_in số hạng như vậy có độ phân tán s nhân sqrt(n_in) (các phương sai cộng lại: Mô-đun 2, "Độ phân tán cộng dồn ra sao"). Để giữ nó ở 1, chọn s = 1 / sqrt(n_in). Đó là khởi tạo LeCun. Khởi tạo Xavier (còn gọi là Glorot) cũng giữ ổn định các gradient trên đường quay về, vốn phụ thuộc vào n_out, nên nó chia đôi khác biệt: s = sqrt(2 / (n_in + n_out)). Khi n_in bằng n_out hai cái là như nhau. Cả hai hợp với tanh.

ReLU vứt bỏ nửa âm, điều này làm giảm một nửa kích thước bình phương trung bình. Bù lại bằng gấp đôi phương sai: s = sqrt(2 / n_in). Đó là khởi tạo He, đúng cho ReLU. Với độ rộng 100, He cho sqrt(0.02) = 0.141: đúng thang "ok" từ bài học trước.

Tóm tắt tanh: Xavier, sqrt(2 / (n_in + n_out)), hoặc LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Từ và ký hiệu trong bài học này
khởi tạo
các trọng số được đặt ra sao trước khi việc huấn luyện bắt đầu
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Đến lượt bạn

Viết xavier(n_in, n_out, rng) và he(n_in, n_out, rng) trả về các ma trận trọng số. Với trọng số He, độ phân tán kích hoạt sau 20 lớp ReLU độ rộng 256 phải giữ giữa 0.2 và 5.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.