강의 계획 레슨 246개 중 202번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

바닥이 있는 거듭제곱 법칙 맞추기

왜 중요한가 "클수록 좋다"는 계획에 쓸모없어요. "손실은 가중치의 -0.5제곱처럼, 바닥 1.6 쪽으로 떨어진다"는 아직 값을 치르지 않은 실행에 숫자를 붙이게 해 줘요. 그 숫자를 얻는 것, 그리고 얼마나 확신하는지가 기술이에요.

대부분의 스케일링 데이터에 맞는 모양:

loss = E + A N^(-alpha)

N은 가중치 수, alpha는 지수(얼마나 빨리 나아지는지), E는 바닥: 이 데이터에서 이 계열의 어떤 모델도 이길 수 없는 손실이에요. 일부는 텍스트가 예측할 수 없어서고, 일부는 계열 자체의 한계예요(이 모델은 늘 문자 8개 뒤까지만 봐요). 다른 계열, 예를 들어 더 멀리 거슬러 읽는 계열은 바닥이 더 낮아요. 바닥이 없으면 작은 모델에 맞춘 것이 큰 모델이 얻는 걸 과대평가해요.

맞추는 법: 0과 가장 작은 손실 바로 아래 사이의 각 후보 바닥 E에 대해, 로그를 취하면 log(loss - E) = log A - alpha log N, 직선이니, 최소 제곱으로 맞추세요. 곡선이 손실 자체에 대해 제곱 오차가 가장 작은 E를 남기세요.

오차 막대: 크기마다 시드가 셋 있어요. 매번 크기마다 시드 하나를 무작위로 골라서 여러 번 다시 맞추고(부트스트랩), alpha의 퍼짐을 보세요. 장면을 보세요: 같은 점들, 바닥이 있을 때와 없을 때 맞춘 곡선, 그리고 부트스트랩 맞춤의 띠.

이 레슨의 단어와 기호
거듭제곱 법칙
y = A x^-alpha: 로그-로그 축에서 직선
지수 (alpha, beta)
가중치가 많아지면(alpha) 또는 데이터가 많아지면(beta) 손실이 얼마나 빨리 떨어지는지
바닥 (E)
이 데이터에서 어떤 모델도 이길 수 없는 손실
토큰
여기서는 예측 하나: 문자 하나
부트스트랩
다시 뽑은 데이터로 다시 맞춰서 맞춘 숫자가 얼마나 움직일지 보기
내 차례

설명대로 (E, A, alpha)를 반환하는 fit(N, loss)를 쓰세요(0부터 0.999 × 가장 작은 손실까지 후보 바닥 400개). 150만 토큰 실행(폭마다 평균 하나)을 main에 맞추고, 그다음 부트스트랩 다시 맞추기를 100번 돌리고 interval을 alpha의 5번째와 95번째 백분위수로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.