강의 계획 레슨 246개 중 205번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

더 큰 실행을 예측하고, 그다음 보기

왜 중요한가 가진 실행만 묘사하는 맞춤은 요약이에요. 갖지 않은 실행을 예측하는 맞춤은, 적어도 지금은, 법칙이에요. 여기 시험이 있어요.

강좌는 격자를 끝낸 뒤 크기 하나를 더 훈련했어요: 폭 2048, 가중치 약 375,000개, 격자의 가장 큰 것의 두 배, 150만 토큰 전체로, 시드 셋. 그 손실은 아직 보지 않았어요.

레슨 3의 거듭제곱 법칙(한 번에 폭 하나, 150만 토큰)으로 그걸 예측하세요. 숫자를 코드에 확정하고, 그다음 기록된 결과를 여세요.

이 레슨의 단어와 기호
거듭제곱 법칙
y = A x^-alpha: 로그-로그 축에서 직선
토큰
여기서는 예측 하나: 문자 하나
내 차례

scaling.fit_power_law로 150만 토큰 격자를 맞추고, 폭 2048(scaling.params_of(2048) 가중치)에 대한 prediction을 설정하고, 그다음 actual(scaling.recorded_bigger()의 평균)과 error를 설정하세요. better_than_my_gut을 설정해서 레슨 1의 직감 오차와 비교하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.