제거 실험: 변경 셋, 각각 시드 셋
왜 중요한가 "이 변경이 도움이 됐다"는 어떤 프로젝트 보고서에서든 가장 흔한 주장이고, 가장 자주 실행 하나로 하는 주장이에요. 여기서는 모듈 22의 규칙이 자기 실행으로 그걸 정해요.
기준선에 대한 변경 셋을 고르세요, 각각 정확히 설정 하나를 바꾸면서(width, lr, steps, batch, weight_decay). 각각을 시드 0, 1, 2로 돌리고, 기준선도 같은 시드로 다시 돌리세요(이 레슨의 기록에, 그래서 모든 숫자가 한곳에 있게요). evals=1을 쓰세요: 최종 점수만 필요해요.
각 변경에 대해: diff = 변경의 평균 점수 빼기 기준선의 평균 점수(높을수록 좋아요), se = judge.standard_error(baseline, change). 판정: diff > 2 se면 "better", diff < -2 se면 "worse", 아니면 "not shown".
전체가 예산에 맞아야 해요: 더 드는 변경(더 넓게, 더 많은 걸음)은 예산을 더 써요.
이 레슨의 단어와 기호
- 기준선
- 모든 변경을 같은 시드에 걸쳐 대조해 재는 평범한 실행
- 제거 실험
- 기준선에 대한 변경 하나를 여러 시드에 걸쳐 돌려서 그게 무엇을 하는지 보기
CHANGES(셋, 각각 설정 하나)를 설정하세요. 실행 12개로 log를, 각 변경에 대해 verdict[name]을 채우세요. 평균과 2 se를 출력하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.