Chương trình học Bài 109 trên tổng số 246 · Mô-đun 9: Nó có thật sự tốt hơn không?
Mô-đun 9: Nó có thật sự tốt hơn không?

So sánh hai mô hình một cách công bằng

Vì sao điều này quan trọng Quay lại bài học 1. Đây là cách đúng để quyết định.

Cả hai mô hình đã trả lời cùng 100 mục. Vậy đừng đặt thanh sai số lên mỗi điểm số riêng rẽ; hãy đặt một cái lên hiệu số, lấy mẫu lại các mục theo cặp. Mỗi mẫu lại chọn 100 mục có hoàn lại và tính độ chính xác của B trừ của A trên chính các mục đó. Nếu khoảng 95% của hiệu số đó bao gồm 0, dữ liệu không thể phân biệt hai mô hình.

So sánh theo cặp (paired comparison): so sánh hai mô hình từng mục một trên cùng một tập kiểm thử, điều này triệt tiêu độ khó của mỗi mục.

100 ảnh của bài học 1 đã được chọn ra sao, một cách trung thực: các bộ đọc là mô phỏng, và khóa học đã chọn một lần rút 100 ảnh mà trên đó A tình cờ dẫn B 4 điểm. Qua 2.000 lần rút ngẫu nhiên 100 ảnh, A dẫn từ 4 điểm trở lên chỉ 8% số lần; B vượt lên trong một nửa số lần, và 14% là hòa. Đó là một kiểu may mắn có thật, được chọn để chứng minh: một tập kiểm thử duy nhất 100 mục có thể chỉ sai hướng.

Từ và ký hiệu trong bài học này
bootstrap
lấy mẫu lại tập kiểm thử của bạn có lặp để thấy một điểm số dao động bao nhiêu
khoảng 95%
95% ở giữa của các điểm số được lấy mẫu lại
so sánh theo cặp
so sánh hai mô hình trên cùng các mục, từng mục một
Đến lượt bạn

Viết paired_diff_ci(a, b, n=2000, seed=0) (khoảng của B trừ A, lấy mẫu lại các chỉ số mục như trong bài học bootstrap) và verdict(a, b) trả về "A", "B" hoặc "no clear difference". Chạy nó trên các mô hình của bài học 1.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.