모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
더 큰 실행을 예측하고, 그다음 보기
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 가진 실행만 묘사하는 맞춤은 요약이에요. 갖지 않은 실행을 예측하는 맞춤은, 적어도 지금은, 법칙이에요. 여기 시험이 있어요.
강좌는 격자를 끝낸 뒤 크기 하나를 더 훈련했어요: 폭 2048, 가중치 약 375,000개, 격자의 가장 큰 것의 두 배, 150만 토큰 전체로, 시드 셋. 그 손실은 아직 보지 않았어요.
레슨 3의 거듭제곱 법칙(한 번에 폭 하나, 150만 토큰)으로 그걸 예측하세요. 숫자를 코드에 확정하고, 그다음 기록된 결과를 여세요.
이 레슨의 단어와 기호
- 거듭제곱 법칙
- y = A x^-alpha: 로그-로그 축에서 직선
- 토큰
- 여기서는 예측 하나: 문자 하나
내 차례
scaling.fit_power_law로 150만 토큰 격자를 맞추고, 폭 2048(scaling.params_of(2048) 가중치)에 대한 prediction을 설정하고, 그다음 actual(scaling.recorded_bigger()의 평균)과 error를 설정하세요. better_than_my_gut을 설정해서 레슨 1의 직감 오차와 비교하세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.