두 모델을 공정하게 비교하기
왜 중요한가 레슨 1로 돌아가요. 이게 결정하는 올바른 방법이에요.
두 모델 모두 같은 항목 100개에 답했어요. 그러니 각 점수에 따로 오차 막대를 붙이지 말고, 항목을 쌍으로 다시 뽑아서 차이에 하나를 붙이세요. 각 재표본은 복원 추출로 항목 100개를 고르고 바로 그 항목들에서 B의 정확도 빼기 A의 정확도를 계산해요. 그 차이의 95% 구간이 0을 포함하면, 데이터는 두 모델을 구별할 수 없어요.
짝지은 비교: 같은 테스트 세트에서 두 모델을 항목별로 비교해서, 각 항목이 얼마나 어려운지를 상쇄하기.
레슨 1의 이미지 100장을 어떻게 골랐는지, 정직하게: 판독기들은 시뮬레이션이고, 강좌는 A가 B를 우연히 4점 앞서는 이미지 100장의 뽑기를 골랐어요. 이미지 100장을 무작위로 2,000번 뽑으면, A가 4점 이상 앞선 건 8%뿐이었어요. 절반은 B가 앞섰고, 14%는 동점이었어요. 요점을 보이려고 고른, 진짜로 있는 종류의 운이에요: 100개짜리 테스트 세트 하나는 틀린 쪽을 가리킬 수 있어요.
이 레슨의 단어와 기호
- 부트스트랩
- 점수가 얼마나 흔들리는지 보려고 테스트 세트를 반복 허용으로 다시 뽑기
- 95% 구간
- 다시 뽑은 점수들의 가운데 95%
- 짝지은 비교
- 같은 항목에서 두 모델을 항목별로 비교하기
paired_diff_ci(a, b, n=2000, seed=0)(B 빼기 A의 구간, 부트스트랩 레슨처럼 항목 인덱스를 다시 뽑아서)와 "A", "B", "no clear difference" 중 하나를 반환하는 verdict(a, b)를 쓰세요. 레슨 1의 모델에 실행하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.