오차 막대와 함께 하는 따로 떼어 둔 평가
왜 중요한가 자기가 한 모든 선택이 검증 점수를 봤으니, 이제 그건 조금 낙관적이에요. 한 번도 보지 않은 데이터에서 오차 막대와 함께 한 평가 한 번이 보고할 수 있는 숫자예요.
제거 실험이 보여 준 것으로, 기준선 비용 많아야 4배로 FINAL 설정을 고르세요. 시드 0으로 훈련하세요. 그다음 숨겨진 테스트 세트에서 한 번 점수를 매기세요: track.score(model, hidden=True, per_item=True)가 테스트 항목마다 숫자 하나를, studio.interval(items)가 평균과 95% 부트스트랩 구간을 줘요.
숨겨진 세트는 이 페이지 안에 딸려 와서, 봉인된 게 아니라 숨겨진 거예요: 볼 수도 있어요. 강좌의 수료증은 그 비밀에 기대지 않아요. 자기 카드는 기대니, 끝에 한 번만 보세요.
통과 기준(기본 계획은 둘 다 넘어요): language, 평균 적어도 -2.72. images, 적어도 0.42.
이 레슨의 단어와 기호
- 기준선
- 모든 변경을 같은 시드에 걸쳐 대조해 재는 평범한 실행
- 제거 실험
- 기준선에 대한 변경 하나를 여러 시드에 걸쳐 돌려서 그게 무엇을 하는지 보기
- 숨겨진 테스트 세트
- 모든 선택을 한 뒤 끝에 한 번 점수 매기는 데이터
FINAL을 설정하고, final을 훈련하고, validation(그 검증 점수), hidden(mean, low, high), gap(검증 빼기 숨겨진 평균)을 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.