Chia train/test: Đo lường trung thực
Đây là thói quen quan trọng nhất trong học máy. Nếu bạn huấn luyện một mô hình rồi kiểm tra nó trên cùng dữ liệu đó, bạn chẳng học được gì hữu ích. Một mô hình có thể đạt điểm tuyệt đối chỉ bằng cách học thuộc các câu trả lời nó đã thấy. Điều đó giống như chấm điểm một học sinh trên đúng những câu hỏi họ đã ôn: nó đo trí nhớ, không đo sự hiểu.
Cách sửa là giữ lại một phần dữ liệu. Bạn huấn luyện trên phần lớn, rồi kiểm tra trên các hàng mô hình chưa bao giờ thấy. Hiệu năng trên tập kiểm tra là ước lượng trung thực của bạn về việc nó sẽ làm thế nào với dữ liệu thật trong tương lai.
scikit-learn cho bạn một hàm cho việc này:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0
)Nó trả về bốn mảnh, luôn theo thứ tự đó: đặc trưng train, đặc trưng test, nhãn train, nhãn test. Hai đối số quan trọng:
test_size=0.2giữ lại 20 phần trăm để kiểm tra và giữ 80 phần trăm để huấn luyện.random_state=0cố định việc xáo trộn để bạn có cùng một cách chia mỗi lần chạy. Không có nó, cách chia là ngẫu nhiên mỗi lần, và kết quả của bạn sẽ dao động và không kiểm tra được. Trong toàn bộ khóa học này, hãy luôn truyềnrandom_state=0.
Từ giờ có một quy tắc nghiêm ngặt: bạn được huấn luyện trên tập huấn luyện, nhưng bạn chỉ bao giờ chấm điểm trên tập kiểm tra. Không bao giờ báo cáo một điểm số từ dữ liệu mà mô hình đã huấn luyện.
Các mảng X (10 hàng, 2 cột) và y (10 nhãn) được cho. Dùng train_test_split với test_size=0.2 và random_state=0 để có X_train, X_test, y_train, y_test. Rồi đặt n_train là số hàng huấn luyện và n_test là số hàng kiểm tra.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.