강의 계획 레슨 246개 중 105번째 · 모듈 9: 정말 더 나은가?
모듈 9: 정말 더 나은가?

시드와 퍼짐

왜 중요한가 같은 모델을 다른 시드로 두 번 훈련하면 점수가 달라요. 그 흔들림이 얼마나 큰지 알기 전까지는, 어떤 변화가 도움이 됐는지 알 수 없어요.

여기서 시드는 세 가지를 정해요: 어떤 이미지가 훈련 세트와 테스트 세트에 들어가는지, 시작 가중치, 데이터의 순서. 어느 것도 중요하면 안 되지만, 모두 조금씩 중요해요. 그러니 언제나 시드 여러 개를 훈련하고, 실행 하나가 아니라 평균과 퍼짐(표준 편차)을 보고하세요.

각각 시드 n개에 걸쳐 평균 낸 두 설정을 비교하는 대략적인 규칙: 두 평균의 차이는 약 퍼짐 곱하기 sqrt(2 / n)만큼 흔들려요(각 평균은 spread / sqrt(n)만큼 흔들리고, 독립된 두 흔들림은 제곱으로 더해져요). 그 두 배쯤보다 작은 차이는 믿을 수 있는 게 아니에요. 시드 5개, 퍼짐 0.02면 그건 2 곱하기 0.02 곱하기 sqrt(0.4) = 0.025예요.

내 차례

시드 0부터 n_seeds - 1까지에 걸친 train_and_score의 (mean, std)를 반환하는 seed_report(n_seeds)를 쓰세요. np.std를 그대로 쓰세요(n으로 나눠요. n - 1로 나누는 ddof=1도 받아들여요). 그다음 wobble을 시드 5개에 걸친 퍼짐으로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.