Double descent
Vì sao điều này quan trọng Quy tắc sách giáo khoa "nhiều tham số hơn nghĩa là quá khớp hơn" vỡ với các mô hình lớn. Thấy được vì sao thay đổi cách bạn nghĩ về kích thước mô hình.
Xem nó
Hãy chạy hoạt ảnh. Ta khớp 40 điểm huấn luyện chỉ dùng p đặc trưng đầu tiên trong 400 đặc trưng có sẵn, chọn trong số các phép khớp chính xác cái có trọng số nhỏ nhất. Khi p tăng dần tới số điểm huấn luyện (40), sai số kiểm thử leo lên, chậm rồi dốc đứng, tới một đỉnh đúng ở chỗ hai số bằng nhau. Ở đó mô hình có vừa đủ tự do để chạm mọi điểm huấn luyện, và chỉ một cách để làm, thường là một cách hoang dại. Qua đỉnh, có nhiều phép khớp chính xác và chọn cái có trọng số nhỏ nhất là một phép khớp nhẹ nhàng: sai số kiểm thử lại giảm, và với đủ đặc trưng nó kết thúc thấp hơn các mô hình nhỏ.
Ngưỡng nội suy (interpolation threshold): kích thước mô hình mà ở đó nó vừa đủ khớp chính xác dữ liệu huấn luyện. Double descent đạt đỉnh ở đó.
Đoán đường cong: hãy dự đoán số đặc trưng có sai số kiểm thử cao nhất, và p = 400 có thắng p = 5 không.
Đọc các con số một cách trung thực
Ví dụ đồ chơi này được dựng để cho thấy hình dạng của đường cong, không phải để dự đoán tốt. Tín hiệu của nó được trải mỏng trên cả 400 đặc trưng và chỉ có 40 điểm huấn luyện, nên mọi mô hình ở đây đều kém: dự đoán 0 cho mọi thứ đạt sai số kiểm thử trung vị khoảng 1.01, p = 5 đạt khoảng 1.11 và p = 400 khoảng 0.91. Đỉnh tại p = 40 khoảng 36. Lần đi xuống thứ hai là thật, nhưng nó chỉ hạ cánh thấp hơn "không dự đoán gì" một chút.
Đỉnh cũng có một cách chữa bạn đã biết. Suy giảm trọng số (ridge) với cường độ được chọn trên dữ liệu kiểm định, thay vì phép khớp chính xác có trọng số nhỏ nhất, giữ sai số gần 1.0 ở mọi kích thước, kể cả p = 40 (khoảng 1.02). Double descent là điều xảy ra với các phép khớp chính xác; một bộ điều chuẩn được tinh chỉnh xóa bỏ cú nhảy vọt.
Từ và ký hiệu trong bài học này
- quá khớp, chưa khớp
- khớp theo nhiễu trong dữ liệu huấn luyện; hoặc quá đơn giản để khớp với khuôn mẫu
- ridge (alpha)
- bình phương tối thiểu với suy giảm trọng số cường độ alpha
- ngưỡng nội suy
- kích thước mô hình vừa đủ để khớp chính xác dữ liệu huấn luyện
Điền my_peak và my_400_beats_5. Rồi viết test_error(p): với seed 0 tới 19, khớp bằng np.linalg.pinv(X[:, :p]) @ y, đo sai số bình phương trung bình kiểm thử, và trả về trung vị trên các seed.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.