Chương trình học Bài 85 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Bài kiểm tra vượt cấp: làm cho một mạng sâu không huấn luyện được trở nên huấn luyện được (tắt AI)

Vì sao điều này quan trọng Sửa một mạng sâu không chịu học là một trong những công việc thật phổ biến nhất trong lĩnh vực này. Ở đây bạn tự làm.

Người hướng dẫn AI tắt. Mạng 30 lớp bên dưới không bao giờ thoát khỏi mức tung đồng xu. Bạn có thể thay đổi cách nó được khởi đầu và cách các khối của nó được nối, dùng bất cứ thứ gì từ mô-đun này, nhưng hãy giữ 30 lớp ẩn độ rộng 16 và 300 bước SGD thuần.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
Đến lượt bạn

Sửa build(rng) và forward(params, X) để việc huấn luyện đạt ít nhất 90% độ chính xác huấn luyện trên các mặt trăng.

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.