강의 계획 레슨 246개 중 201번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

자기 작은 실행, 비용 매기기

왜 중요한가 스케일링은 비용에 대한 진술이에요: 계산 단위당 얼마나 더 나은지. 그래서 모든 실행에 가격표가 필요하고, 훈련의 가격표는 놀랍도록 단순해요.

훈련은 토큰당 가중치당 약 6번의 연산이 들어요: 순방향 단계에 2(가중치마다 곱셈 하나, 덧셈 하나), 역방향 단계에 약 4(입력과 가중치에 대한 기울기). 그게 출발선부터 써 온 FLOP 장부 규칙이에요: scaling.flops(weights, tokens).

여기서 작은 모델 셋을 실시간으로, 각각 강좌 텍스트 32,000토큰으로 훈련해요, 비용이 약 7배씩 차이 나요.

이 레슨의 단어와 기호
토큰
여기서는 예측 하나: 문자 하나
FLOP (6 N D)
훈련 비용: 토큰당 가중치당 약 6번의 연산
내 차례

폭 4, 16, 64를 각각 32,000토큰 동안 훈련하세요(scaling.train(model, 32_000)이 따로 떼어 둔 손실을 반환해요). 각 폭에 대해 가중치, FLOP, 손실로 runs를 채우세요. 그다음 cost_ratio를 설정하세요: 폭 64 실행이 폭 4 실행보다 몇 배 더 들었는지.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.