Chương trình học Bài 103 trên tổng số 246 · Mô-đun 9: Nó có thật sự tốt hơn không?
Mô-đun 9: Nó có thật sự tốt hơn không?

Chia dữ liệu và rò rỉ

Vì sao điều này quan trọng Nếu bất kỳ thông tin nào từ dữ liệu kiểm thử tới được việc huấn luyện, điểm kiểm thử không còn là một phép kiểm thử nữa. Đây là cách phổ biến nhất để những người trung thực công bố những con số sai.

Quy tắc: tập kiểm thử không được đóng vai trò gì trong bất kỳ quyết định nào, kể cả tiền xử lý. Ba cách nó lẻn vào:

  • Co giãn bằng toàn bộ dữ liệu. Tính trung bình và độ phân tán trên mọi hàng, kể cả hàng kiểm thử, cho phép các giá trị kiểm thử định hình các đầu vào huấn luyện. Nhỏ, nhưng có thật.
  • Chọn đặc trưng bằng mọi nhãn. Chọn các đặc trưng tương quan nhiều nhất với nhãn, dùng cả nhãn kiểm thử, có thể làm nhiễu thuần túy trông có vẻ dự đoán được. Cái này có thể khổng lồ.
  • Bản trùng qua chỗ chia. Cùng một ví dụ ở cả hai tập: mô hình được kiểm thử trên một thứ nó đã học thuộc.

Rò rỉ (leakage): thông tin kiểm thử tới được quá trình huấn luyện, làm điểm số trông tốt hơn thực tế.

Đến lượt bạn

Gán leaky là một dict cho biết đường ống nào trong ba cái bị rò rỉ. Rồi viết pipeline_3_fixed(X, y): cùng ý tưởng, chọn 5 đặc trưng chỉ dùng 200 hàng đầu tiên.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.