모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
가중치, 데이터, 계산: 무엇이 발목을 잡나?
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 엉뚱한 것에 더 쓰면 아무것도 사지 못해요. 데이터에 굶주린 모델은 키워도 나아지지 않고, 아주 작은 모델은 더 먹여도 나아지지 않아요. 격자는 어디를 볼지 안다면 둘 다 보여 줘요.
격자의 행(폭 하나, 점점 많은 데이터)과 열(데이터 양 하나, 점점 넓은 모델)을 따라 보세요.
실행은 그 데이터 양에서 모델을 넓혀도 거의 도움이 안 될 때(또는 해칠 때) 데이터 제한이에요. 그 폭에서 데이터를 더해도 거의 도움이 안 될 때 모델 제한이에요.
이 레슨의 단어와 기호
- 토큰
- 여기서는 예측 하나: 문자 하나
- 데이터 제한, 모델 제한
- 폭을 더하거나, 데이터를 더해도 거의 도움이 안 될 때
내 차례
gain_wider를 채우세요: 8,000토큰과 150만 토큰에 대해, 폭 256에서 폭 1024로 갈 때의 손실 하락. gain_more_data를 채우세요: 폭 2와 폭 1024에 대해, 512,000에서 150만 토큰으로 갈 때의 손실 하락. 그다음 두 구석에 대해 verdict를 "data-limited"나 "model-limited"로 설정하세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.