강의 계획 레슨 246개 중 203번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

가중치, 데이터, 계산: 무엇이 발목을 잡나?

왜 중요한가 엉뚱한 것에 더 쓰면 아무것도 사지 못해요. 데이터에 굶주린 모델은 키워도 나아지지 않고, 아주 작은 모델은 더 먹여도 나아지지 않아요. 격자는 어디를 볼지 안다면 둘 다 보여 줘요.

격자의 행(폭 하나, 점점 많은 데이터)과 열(데이터 양 하나, 점점 넓은 모델)을 따라 보세요.

실행은 그 데이터 양에서 모델을 넓혀도 거의 도움이 안 될 때(또는 해칠 때) 데이터 제한이에요. 그 폭에서 데이터를 더해도 거의 도움이 안 될 때 모델 제한이에요.

이 레슨의 단어와 기호
토큰
여기서는 예측 하나: 문자 하나
데이터 제한, 모델 제한
폭을 더하거나, 데이터를 더해도 거의 도움이 안 될 때
내 차례

gain_wider를 채우세요: 8,000토큰과 150만 토큰에 대해, 폭 256에서 폭 1024로 갈 때의 손실 하락. gain_more_data를 채우세요: 폭 2와 폭 1024에 대해, 512,000에서 150만 토큰으로 갈 때의 손실 하락. 그다음 두 구석에 대해 verdict를 "data-limited"나 "model-limited"로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.