넓은 모델은 더 작은 걸음을 원해요
왜 중요한가 작은 모델에 맞는 학습률이 더 큰 모델을 망칠 수 있어요. 큰 모델을 훈련하는 팀은 이걸 알아내는 데 진짜 돈을 써요. 여기서는 기록된 실행에서 읽을 수 있어요.
기록된 gpt-width-lr 실험은 작은 GPT를 폭 32, 64, 128로, 각각 학습률 0.001, 0.003, 0.01로, 2,000걸음, 각각 시드 셋으로 훈련하고, 끝에 따로 떼어 둔 텍스트에서 손실을 쟀어요.
보기 전에 예측하세요: 가장 넓은 모델 128에 어떤 학습률이 가장 좋을까요?
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
my_guess를 0.001, 0.003, 0.01 중 하나로 설정하고, 그다음 mean_loss를 채우세요: (width, lr)에서 시드 셋에 걸친 평균 최종 따로 떼어 둔 손실로(exp.seeds(d=..., lr=...)가 실행 셋을 주고, 각 실행의 최종 따로 떼어 둔 손실은 run.val_loss[-1][1]이에요). 그다음 best_lr을 채우세요: 폭에서 평균이 가장 낮은 학습률로.
그다음 모듈 9의 잡음 규칙으로 어떤 설정이 정말 다른지 말하세요. 각각 시드 셋이면, 두 평균은 차이가 약 2 × s × sqrt(2/3)보다 클 때만 진짜로 달라요. 여기서 s는 두 설정의 시드 퍼짐(세 값의 np.std) 중 큰 것이에요. 그보다 가까우면 동점이에요.
ties를 설정하세요: 폭에서 그 폭의 최선과 동점인 학습률의 리스트로(최선 포함).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.