고정된 예산의 최선의 쓰임
왜 중요한가 고정된 계산 예산 C에서 더 큰 모델은 더 적은 토큰을 봐요(C = 6 N D). 너무 크면 굶주리고, 너무 작으면 예산이 다하기 전에 가득 차요. 2022년에 이 계산("Chinchilla" 논문)이 당시 대부분의 큰 모델이 훈련한 데이터에 비해 너무 크다는 걸 보여 줬어요.
두 효과를 한꺼번에 맞추세요:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d가 그걸 150개 실행 전부에 맞춰요. 그다음 예산 C에 대해 모든 폭 N이 D = C / (6 N)을 정하고, 공식이 손실을 예측해요: 예측이 가장 낮은 폭을 고르세요. scaling.params_of(width)가 폭의 가중치 수를 줘요.
이 분야의 지금 Hoffmann et al.(2022, "Chinchilla")은 이 같은 두 변수 형태를 큰 언어 모델에 맞추고 계산 최적 배분을 가중치당 훈련 토큰 약 20개에서 찾았어요. 연구소들은 이제 흔히 그걸 훨씬 넘겨 훈련해요(더 작은 모델에 훨씬 많은 토큰), 더 작은 모델은 답할 때마다 더 싸니까요: 훈련에 계산 최적인 것이 사용에 최적은 아니에요. 그리고 모델을 넓힐 때 시작 가중치와 층별 학습률의 크기를 다시 맞춰서(muP, Yang et al. 2022) 작은 모델에서 찾은 최선의 학습률이 큰 모델에서도 여전히 되게 해요: 모듈 13의 "넓은 모델은 더 작은 걸음을 원해요" 레슨이 잰 문제예요.
이 레슨의 단어와 기호
- 지수 (alpha, beta)
- 가중치가 많아지면(alpha) 또는 데이터가 많아지면(beta) 손실이 얼마나 빨리 떨어지는지
- 토큰
- 여기서는 예측 하나: 문자 하나
- FLOP (6 N D)
- 훈련 비용: 토큰당 가중치당 약 6번의 연산
- 계산 최적
- 가장 낮은 손실을 주는, 고정된 예산의 모델 크기와 데이터 사이 배분
격자를 f에 맞추세요. 예측 손실이 가장 낮은 폭(2부터 4096까지의 2의 거듭제곱)을 반환하는 plan(f, budget)을 쓰세요. 예산 1e9, 1e10, 1e11 FLOP에 대해 choice를 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.