Chương trình học Bài 82 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

Cái bẫy huấn luyện/đánh giá

Vì sao điều này quan trọng Một mô hình đạt điểm tốt khi kiểm thử và tệ khi sử dụng, không vì lý do nhìn thấy được, rất thường là lỗi này. Nó đã đánh lừa cả những kỹ sư giàu kinh nghiệm.

Một bộ phân loại nhỏ có một lớp BatchNorm. Nó đã được huấn luyện đúng cách và các trung bình chạy của nó tốt. Trên tập kiểm thử, được chấm theo các batch lớn, nó làm tốt. Khi được dùng trên từng ví dụ một, nó sai quá thường xuyên.

Làm thám tử trước: in ra những gì lớp BatchNorm trả ra cho hai ví dụ khác nhau, và tự hỏi nó đang chuẩn hóa bằng thống kê nào. Hãy tìm ra từ những gì bạn in; ba gợi ý dẫn bạn tới đó nếu bạn bị bí.

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
BatchNorm (gamma, beta)
chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
Đến lượt bạn

predict_one(x) được dùng trên từng ví dụ một, và độ chính xác của nó kém. Hãy tìm ra vì sao, rồi sửa predict_one để độ chính xác trên dữ liệu được giữ lại ít nhất 90%. Gán cause là một cụm từ ngắn gọi tên nguyên nhân.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.