Chương trình học Bài 84 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Lối tắt (kết nối phần dư)

Vì sao điều này quan trọng Kết nối phần dư là lý do các mạng có hàng trăm lớp huấn luyện được. Mọi khối transformer đều dùng chúng.

Một lớp thuần thay thế đầu vào của nó: h = f(h). Một khối phần dư cộng vào nó: h = h + f(h). Nếu f không học được gì hữu ích, khối đơn giản cho h đi qua không đổi, nên độ sâu thêm vào không bao giờ làm mọi thứ tệ hơn lúc bắt đầu. Và trên đường quay về, gradient có một lối đi thẳng dọc đường "+ h", bỏ qua hoàn toàn lớp đó, nên nó không thể biến mất.

Một lời cảnh báo công bằng về thí nghiệm bên dưới: cả hai mạng bắt đầu từ cùng các trọng số được cố ý chọn nhỏ, N(0, 0.1). Khởi đầu đó là thứ đánh chìm mạng thuần. Với trọng số ban đầu He từ phần trước của mô-đun này, mạng thuần 30 lớp cũng huấn luyện được (5 trên 6 seed trong các lần chạy của khóa học). Điều mà các lối tắt thêm vào là sự vững chắc: chúng huấn luyện được ngay cả từ một khởi đầu kém, và chúng tiếp tục hoạt động ở những độ sâu mà chỉ riêng trọng số ban đầu cẩn thận không còn đủ.

Ở đây đóng góp của mỗi khối còn được co lại theo 1 / depth, một mẹo phổ biến để 30 phép cộng không làm bùng nổ tín hiệu.

Kết nối phần dư (residual connection, hay skip connection, lối tắt): cộng đầu vào của một khối vào đầu ra của nó.

Đoán đường cong: hãy đoán giá trị mất mát cuối cùng sau 150 bước cho mạng thuần và cho mạng có lối tắt. (Giá trị mất mát 0.693 nghĩa là một lần tung đồng xu với nhiệm vụ hai lớp này.)

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
kết nối phần dư
cộng đầu vào của một khối vào đầu ra của nó: h + f(h)
Đến lượt bạn

Điền my_guess. Rồi viết block(h, W, b, shortcuts, depth): không có lối tắt thì trả về relu(h @ W + b); có lối tắt thì trả về h + relu(h @ W + b) * (1 / depth). Bài kiểm tra huấn luyện cả hai mạng 30 lớp từ cùng các trọng số ban đầu nhỏ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.