모든 "진짜인가" 확인 뒤의 규칙 하나
왜 중요한가 이 강좌는 차이를 적어도 네 가지 방식으로 판단했어요: 짝지은 구간(모듈 9), "0.1 높고 모든 시드에서 더 높음"(모듈 16과 17), 표준 오차 2개(이 모듈). 모두 같은 생각이고, 그걸 알면 맞는 걸 고를 수 있고, 어느 게 너무 너그러운지 알 수 있어요.
모든 규칙은 차이를 그 잡음과 비교해요. 두 선택이 답을 바꿔요:
- 짝지었는지 아닌지. 두 모델이 같은 항목으로 점수 매겨질 때(모듈 9의 테스트 이미지), 먼저 항목별로 빼세요: 각 항목이 얼마나 어려운지가 상쇄되고, 잡음이 줄고, 작은 진짜 차이가 드러나요. 같은 항목에 대한 분류기 둘이라면, 가장 깨끗한 셈은 그냥 둘이 의견이 갈리는 항목이에요(McNemar 검정). 따로 돌린 실행의 시드는 짝지어지지 않아요: 두 무리를 전체로 비교하세요.
- 기준이 얼마나 엄격한지. 표준 오차 2개는 잡음을 안다고 가정해요. 한쪽에 시드가 셋이면 각각 숫자 셋으로 그걸 추정했고, 그 추정은 쉽게 너무 작을 수 있어요. Student의 t가 그걸 고려해요: 기준이 표준 오차
stats.t.ppf(0.975, df)개가 되는데, df(자유도)는 Welch의 공식df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))에서 나오고va = var(a) / na예요. 한쪽에 시드 셋이면 df는 2~4이고, 기준은 2가 아니라 2.8~4.3이에요.
먼저 예측하세요: 기록된 격자에서 더 엄격한 기준이 표준 오차 2개 규칙의 "shown"을 뒤집는 일이 있을까요?
이 레슨의 단어와 기호
- 시드
- 실행의 무작위 선택을 고정하는 숫자. 다른 시드는 다른 결과를 줘요
- 표준 오차
- 시드를 다시 돌리면 잰 차이가 얼마나 움직일지
my_guess를 "yes"나 "no"로 설정하세요. 시드 손실 리스트 둘에 대해 (diff, se, df)를 반환하는 welch(a, b)를 쓰세요(diff = mean(a) - mean(b): 더 큰 모델 b가 나으면 양수). 그다음 CASES의 각 경우에 대해 result[case]를 dict로 채우세요: 'ratio'(diff / se), 'cutoff'(t 기준), 'two_se'와 't'(각 규칙에 따른 "shown" 또는 "not shown"). disagree를 두 규칙이 다른 경우의 리스트로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.