Chương trình học Bài 233 trên tổng số 246 · Mô-đun 22: Đánh giá các nhận định
Mô-đun 22: Đánh giá các nhận định

Một quy tắc đằng sau mọi phép kiểm tra "có thật không"

Vì sao điều này quan trọng Khóa học này đã đánh giá các khác biệt theo ít nhất bốn cách: một khoảng ghép cặp (Mô-đun 9), "cao hơn 0.1 và cao hơn trên mọi seed" (Mô-đun 16 và 17), và 2 sai số chuẩn (mô-đun này). Chúng đều là cùng một ý tưởng, và biết điều đó cho bạn chọn đúng cái, và biết khi nào một cái quá dễ dãi.

Mọi quy tắc so sánh một khác biệt với nhiễu của nó. Hai lựa chọn thay đổi câu trả lời:

  • Ghép cặp hay không. Khi cả hai mô hình được chấm trên cùng các mục (ảnh kiểm tra của Mô-đun 9), hãy trừ từng mục trước: độ khó của mỗi mục triệt tiêu, nhiễu co lại, và các khác biệt thật nhỏ hiện ra. Với hai bộ phân loại trên cùng các mục, phép đếm sạch nhất chỉ là các mục mà chúng bất đồng (kiểm định McNemar). Các seed của các lần chạy riêng không ghép cặp: hãy so sánh hai nhóm như những tổng thể.
  • Ngưỡng nghiêm ngặt tới đâu. 2 sai số chuẩn giả định bạn biết nhiễu. Với 3 seed mỗi bên bạn ước lượng nó từ mỗi bên 3 con số, và ước lượng đó dễ dàng quá nhỏ. Phân phối t của Student tính tới điều đó: ngưỡng trở thành stats.t.ppf(0.975, df) sai số chuẩn, trong đó df (số bậc tự do) tới từ công thức của Welch, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) với va = var(a) / na. Với 3 seed mỗi bên df là 2 tới 4, và ngưỡng là 2.8 tới 4.3, không phải 2.

Hãy dự đoán trước: trên lưới đã ghi lại, ngưỡng nghiêm ngặt hơn có bao giờ lật ngược một kết luận "shown" từ quy tắc 2 sai số chuẩn không?

Từ và ký hiệu trong bài học này
seed
con số cố định các lựa chọn ngẫu nhiên của một lần chạy; một seed khác cho một kết quả khác
sai số chuẩn
một khác biệt đo được sẽ dịch chuyển bao nhiêu nếu các seed được chạy lại
Đến lượt bạn

Gán my_guess là "yes" hoặc "no". Viết welch(a, b) trả về (diff, se, df) cho hai list giá trị mất mát theo seed (diff = mean(a) - mean(b): dương khi b, mô hình lớn hơn, tốt hơn). Rồi, với mỗi trường hợp trong CASES, điền result[case] bằng một dict: 'ratio' (diff / se), 'cutoff' (ngưỡng t), 'two_se' và 't' ("shown" hoặc "not shown" theo mỗi quy tắc). Gán disagree là list các trường hợp mà hai quy tắc khác nhau.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.