Chương trình học Bài 91 trên tổng số 246 · Mô-đun 7: Làm việc trên dữ liệu mới
Mô-đun 7: Làm việc trên dữ liệu mới

Double descent

Vì sao điều này quan trọng Quy tắc sách giáo khoa "nhiều tham số hơn nghĩa là quá khớp hơn" vỡ với các mô hình lớn. Thấy được vì sao thay đổi cách bạn nghĩ về kích thước mô hình.

Xem nó

Hãy chạy hoạt ảnh. Ta khớp 40 điểm huấn luyện chỉ dùng p đặc trưng đầu tiên trong 400 đặc trưng có sẵn, chọn trong số các phép khớp chính xác cái có trọng số nhỏ nhất. Khi p tăng dần tới số điểm huấn luyện (40), sai số kiểm thử leo lên, chậm rồi dốc đứng, tới một đỉnh đúng ở chỗ hai số bằng nhau. Ở đó mô hình có vừa đủ tự do để chạm mọi điểm huấn luyện, và chỉ một cách để làm, thường là một cách hoang dại. Qua đỉnh, có nhiều phép khớp chính xác và chọn cái có trọng số nhỏ nhất là một phép khớp nhẹ nhàng: sai số kiểm thử lại giảm, và với đủ đặc trưng nó kết thúc thấp hơn các mô hình nhỏ.

Ngưỡng nội suy (interpolation threshold): kích thước mô hình mà ở đó nó vừa đủ khớp chính xác dữ liệu huấn luyện. Double descent đạt đỉnh ở đó.

Đoán đường cong: hãy dự đoán số đặc trưng có sai số kiểm thử cao nhất, và p = 400 có thắng p = 5 không.

Đọc các con số một cách trung thực

Ví dụ đồ chơi này được dựng để cho thấy hình dạng của đường cong, không phải để dự đoán tốt. Tín hiệu của nó được trải mỏng trên cả 400 đặc trưng và chỉ có 40 điểm huấn luyện, nên mọi mô hình ở đây đều kém: dự đoán 0 cho mọi thứ đạt sai số kiểm thử trung vị khoảng 1.01, p = 5 đạt khoảng 1.11 và p = 400 khoảng 0.91. Đỉnh tại p = 40 khoảng 36. Lần đi xuống thứ hai là thật, nhưng nó chỉ hạ cánh thấp hơn "không dự đoán gì" một chút.

Đỉnh cũng có một cách chữa bạn đã biết. Suy giảm trọng số (ridge) với cường độ được chọn trên dữ liệu kiểm định, thay vì phép khớp chính xác có trọng số nhỏ nhất, giữ sai số gần 1.0 ở mọi kích thước, kể cả p = 40 (khoảng 1.02). Double descent là điều xảy ra với các phép khớp chính xác; một bộ điều chuẩn được tinh chỉnh xóa bỏ cú nhảy vọt.

Từ và ký hiệu trong bài học này
quá khớp, chưa khớp
khớp theo nhiễu trong dữ liệu huấn luyện; hoặc quá đơn giản để khớp với khuôn mẫu
ridge (alpha)
bình phương tối thiểu với suy giảm trọng số cường độ alpha
ngưỡng nội suy
kích thước mô hình vừa đủ để khớp chính xác dữ liệu huấn luyện
Đến lượt bạn

Điền my_peak và my_400_beats_5. Rồi viết test_error(p): với seed 0 tới 19, khớp bằng np.linalg.pinv(X[:, :p]) @ y, đo sai số bình phương trung bình kiểm thử, và trả về trung vị trên các seed.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.