강의 계획 레슨 246개 중 204번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

고정된 예산의 최선의 쓰임

왜 중요한가 고정된 계산 예산 C에서 더 큰 모델은 더 적은 토큰을 봐요(C = 6 N D). 너무 크면 굶주리고, 너무 작으면 예산이 다하기 전에 가득 차요. 2022년에 이 계산("Chinchilla" 논문)이 당시 대부분의 큰 모델이 훈련한 데이터에 비해 너무 크다는 걸 보여 줬어요.

두 효과를 한꺼번에 맞추세요:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d가 그걸 150개 실행 전부에 맞춰요. 그다음 예산 C에 대해 모든 폭 N이 D = C / (6 N)을 정하고, 공식이 손실을 예측해요: 예측이 가장 낮은 폭을 고르세요. scaling.params_of(width)가 폭의 가중치 수를 줘요.

이 분야의 지금 Hoffmann et al.(2022, "Chinchilla")은 이 같은 두 변수 형태를 큰 언어 모델에 맞추고 계산 최적 배분을 가중치당 훈련 토큰 약 20개에서 찾았어요. 연구소들은 이제 흔히 그걸 훨씬 넘겨 훈련해요(더 작은 모델에 훨씬 많은 토큰), 더 작은 모델은 답할 때마다 더 싸니까요: 훈련에 계산 최적인 것이 사용에 최적은 아니에요. 그리고 모델을 넓힐 때 시작 가중치와 층별 학습률의 크기를 다시 맞춰서(muP, Yang et al. 2022) 작은 모델에서 찾은 최선의 학습률이 큰 모델에서도 여전히 되게 해요: 모듈 13의 "넓은 모델은 더 작은 걸음을 원해요" 레슨이 잰 문제예요.

이 레슨의 단어와 기호
지수 (alpha, beta)
가중치가 많아지면(alpha) 또는 데이터가 많아지면(beta) 손실이 얼마나 빨리 떨어지는지
토큰
여기서는 예측 하나: 문자 하나
FLOP (6 N D)
훈련 비용: 토큰당 가중치당 약 6번의 연산
계산 최적
가장 낮은 손실을 주는, 고정된 예산의 모델 크기와 데이터 사이 배분
내 차례

격자를 f에 맞추세요. 예측 손실이 가장 낮은 폭(2부터 4096까지의 2의 거듭제곱)을 반환하는 plan(f, budget)을 쓰세요. 예산 1e9, 1e10, 1e11 FLOP에 대해 choice를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.