자기 작은 실행, 비용 매기기
왜 중요한가 스케일링은 비용에 대한 진술이에요: 계산 단위당 얼마나 더 나은지. 그래서 모든 실행에 가격표가 필요하고, 훈련의 가격표는 놀랍도록 단순해요.
훈련은 토큰당 가중치당 약 6번의 연산이 들어요: 순방향 단계에 2(가중치마다 곱셈 하나, 덧셈 하나), 역방향 단계에 약 4(입력과 가중치에 대한 기울기). 그게 출발선부터 써 온 FLOP 장부 규칙이에요: scaling.flops(weights, tokens).
여기서 작은 모델 셋을 실시간으로, 각각 강좌 텍스트 32,000토큰으로 훈련해요, 비용이 약 7배씩 차이 나요.
이 레슨의 단어와 기호
- 토큰
- 여기서는 예측 하나: 문자 하나
- FLOP (6 N D)
- 훈련 비용: 토큰당 가중치당 약 6번의 연산
폭 4, 16, 64를 각각 32,000토큰 동안 훈련하세요(scaling.train(model, 32_000)이 따로 떼어 둔 손실을 반환해요). 각 폭에 대해 가중치, FLOP, 손실로 runs를 채우세요. 그다음 cost_ratio를 설정하세요: 폭 64 실행이 폭 4 실행보다 몇 배 더 들었는지.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.