강의 계획 레슨 246개 중 154번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

넓은 모델은 더 작은 걸음을 원해요

왜 중요한가 작은 모델에 맞는 학습률이 더 큰 모델을 망칠 수 있어요. 큰 모델을 훈련하는 팀은 이걸 알아내는 데 진짜 돈을 써요. 여기서는 기록된 실행에서 읽을 수 있어요.

기록된 gpt-width-lr 실험은 작은 GPT를 폭 32, 64, 128로, 각각 학습률 0.001, 0.003, 0.01로, 2,000걸음, 각각 시드 셋으로 훈련하고, 끝에 따로 떼어 둔 텍스트에서 손실을 쟀어요.

보기 전에 예측하세요: 가장 넓은 모델 128에 어떤 학습률이 가장 좋을까요?

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
내 차례

my_guess를 0.001, 0.003, 0.01 중 하나로 설정하고, 그다음 mean_loss를 채우세요: (width, lr)에서 시드 셋에 걸친 평균 최종 따로 떼어 둔 손실로(exp.seeds(d=..., lr=...)가 실행 셋을 주고, 각 실행의 최종 따로 떼어 둔 손실은 run.val_loss[-1][1]이에요). 그다음 best_lr을 채우세요: 폭에서 평균이 가장 낮은 학습률로.

그다음 모듈 9의 잡음 규칙으로 어떤 설정이 정말 다른지 말하세요. 각각 시드 셋이면, 두 평균은 차이가 약 2 × s × sqrt(2/3)보다 클 때만 진짜로 달라요. 여기서 s는 두 설정의 시드 퍼짐(세 값의 np.std) 중 큰 것이에요. 그보다 가까우면 동점이에요.

ties를 설정하세요: 폭에서 그 폭의 최선과 동점인 학습률의 리스트로(최선 포함).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.