강의 계획 레슨 246개 중 109번째 · 모듈 9: 정말 더 나은가?
모듈 9: 정말 더 나은가?

두 모델을 공정하게 비교하기

왜 중요한가 레슨 1로 돌아가요. 이게 결정하는 올바른 방법이에요.

두 모델 모두 같은 항목 100개에 답했어요. 그러니 각 점수에 따로 오차 막대를 붙이지 말고, 항목을 쌍으로 다시 뽑아서 차이에 하나를 붙이세요. 각 재표본은 복원 추출로 항목 100개를 고르고 바로 그 항목들에서 B의 정확도 빼기 A의 정확도를 계산해요. 그 차이의 95% 구간이 0을 포함하면, 데이터는 두 모델을 구별할 수 없어요.

짝지은 비교: 같은 테스트 세트에서 두 모델을 항목별로 비교해서, 각 항목이 얼마나 어려운지를 상쇄하기.

레슨 1의 이미지 100장을 어떻게 골랐는지, 정직하게: 판독기들은 시뮬레이션이고, 강좌는 A가 B를 우연히 4점 앞서는 이미지 100장의 뽑기를 골랐어요. 이미지 100장을 무작위로 2,000번 뽑으면, A가 4점 이상 앞선 건 8%뿐이었어요. 절반은 B가 앞섰고, 14%는 동점이었어요. 요점을 보이려고 고른, 진짜로 있는 종류의 운이에요: 100개짜리 테스트 세트 하나는 틀린 쪽을 가리킬 수 있어요.

이 레슨의 단어와 기호
부트스트랩
점수가 얼마나 흔들리는지 보려고 테스트 세트를 반복 허용으로 다시 뽑기
95% 구간
다시 뽑은 점수들의 가운데 95%
짝지은 비교
같은 항목에서 두 모델을 항목별로 비교하기
내 차례

paired_diff_ci(a, b, n=2000, seed=0)(B 빼기 A의 구간, 부트스트랩 레슨처럼 항목 인덱스를 다시 뽑아서)와 "A", "B", "no clear difference" 중 하나를 반환하는 verdict(a, b)를 쓰세요. 레슨 1의 모델에 실행하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.