강의 계획 레슨 246개 중 241번째 · 모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드
모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드

오차 막대와 함께 하는 따로 떼어 둔 평가

왜 중요한가 자기가 한 모든 선택이 검증 점수를 봤으니, 이제 그건 조금 낙관적이에요. 한 번도 보지 않은 데이터에서 오차 막대와 함께 한 평가 한 번이 보고할 수 있는 숫자예요.

제거 실험이 보여 준 것으로, 기준선 비용 많아야 4배로 FINAL 설정을 고르세요. 시드 0으로 훈련하세요. 그다음 숨겨진 테스트 세트에서 한 번 점수를 매기세요: track.score(model, hidden=True, per_item=True)가 테스트 항목마다 숫자 하나를, studio.interval(items)가 평균과 95% 부트스트랩 구간을 줘요.

숨겨진 세트는 이 페이지 안에 딸려 와서, 봉인된 게 아니라 숨겨진 거예요: 볼 수도 있어요. 강좌의 수료증은 그 비밀에 기대지 않아요. 자기 카드는 기대니, 끝에 한 번만 보세요.

통과 기준(기본 계획은 둘 다 넘어요): language, 평균 적어도 -2.72. images, 적어도 0.42.

이 레슨의 단어와 기호
기준선
모든 변경을 같은 시드에 걸쳐 대조해 재는 평범한 실행
제거 실험
기준선에 대한 변경 하나를 여러 시드에 걸쳐 돌려서 그게 무엇을 하는지 보기
숨겨진 테스트 세트
모든 선택을 한 뒤 끝에 한 번 점수 매기는 데이터
내 차례

FINAL을 설정하고, final을 훈련하고, validation(그 검증 점수), hidden(mean, low, high), gap(검증 빼기 숨겨진 평균)을 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.