시드 하나는 일화예요
왜 중요한가 같은 모델을 다른 무작위 시드로 두 번 훈련하면 다른 결과가 나와요. 그 퍼짐보다 작은 두 모델 사이의 차이는 결과가 아니고, 실행 하나로는 퍼짐이 얼마나 큰지 알 수 없어요.
주장 하나: "8,000토큰에서 폭 1024가 폭 512를 이긴다", 각각 실행 하나로 뒷받침(시드 0: 2.793 대 2.799). 강좌는 각각 시드 셋을 기록했어요.
각각 시드 몇 개로 "A가 B를 이긴다"에 대한 단순한 규칙: 평균의 차이와, 그 표준 오차(시드를 다시 돌리면 그 차이가 얼마나 움직일지), 표본 분산(ddof=1)으로 sqrt(var(A) / nA + var(B) / nB)를 구하세요. 차이가 표준 오차 2개보다 크면 보였다고 하세요. judge.standard_error(a, b)가 그걸 계산해요.
먼저 예측하세요: 시드 셋으로 8,000토큰에서 폭 1024가 여전히 512를 이길까요?
이 레슨의 단어와 기호
- 시드
- 실행의 무작위 선택을 고정하는 숫자. 다른 시드는 다른 결과를 줘요
- 표준 오차
- 시드를 다시 돌리면 잰 차이가 얼마나 움직일지
my_guess를 "yes"나 "no"로 설정하세요. 8,000과 1,500,000토큰에 대해 diff[tokens](폭 512의 평균 손실 빼기 폭 1024의 평균 손실: 양수면 1024가 나아요)와 two_se[tokens]를 채우세요. verdict[tokens]를 "shown"이나 "not shown"으로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.