Chương trình học Bài 86 trên tổng số 246 · Mô-đun 7: Làm việc trên dữ liệu mới
Mô-đun 7: Làm việc trên dữ liệu mới

Quá đơn giản, quá phức tạp, được đo lường

Vì sao điều này quan trọng Một mô hình chỉ hữu ích trên dữ liệu nó chưa thấy. Đo điều đó, thay vì điểm huấn luyện, là thói quen đầu tiên của bất kỳ ai dựng mô hình.

Khớp các đa thức bậc tăng dần với 30 điểm nhiễu từ một đường cong mượt. Bậc 1 là một đường thẳng: quá đơn giản, nó bỏ lỡ chỗ uốn (chưa khớp). Bậc 15 uốn theo nhiễu trong đúng 30 điểm này: sai số huấn luyện của nó thấp nhất trong tất cả (0.014), nhưng trên các điểm mới nó làm tệ hơn bậc 3 (0.075 so với 0.051). Khoảng cách đó, sai số huấn luyện thấp hơn nhiều so với sai số trên dữ liệu mới, là quá khớp. Ở đâu đó giữa hai thứ là một điểm ngọt.

Sai số huấn luyện chỉ bao giờ giảm khi bậc tăng, nên nó không thể tìm ra điểm ngọt. Sai số kiểm định, trên những điểm mà phép khớp chưa từng thấy, thì có thể.

Tập kiểm định (validation set): dữ liệu được giữ lại khỏi việc huấn luyện và dùng để chọn các thiết lập như kích thước mô hình.

Từ và ký hiệu trong bài học này
quá khớp, chưa khớp
khớp theo nhiễu trong dữ liệu huấn luyện; hoặc quá đơn giản để khớp với khuôn mẫu
tập kiểm định
dữ liệu được giữ lại dùng để chọn các thiết lập
Đến lượt bạn

Viết errors(deg) trả về (train_mse, val_mse) cho một đa thức bậc deg được khớp bằng np.polyfit trên 30 điểm. Rồi gán best_degree là bậc từ 1 tới 15 có sai số kiểm định thấp nhất, tính từ chính đường cong của bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.