바닥이 있는 거듭제곱 법칙 맞추기
왜 중요한가 "클수록 좋다"는 계획에 쓸모없어요. "손실은 가중치의 -0.5제곱처럼, 바닥 1.6 쪽으로 떨어진다"는 아직 값을 치르지 않은 실행에 숫자를 붙이게 해 줘요. 그 숫자를 얻는 것, 그리고 얼마나 확신하는지가 기술이에요.
대부분의 스케일링 데이터에 맞는 모양:
loss = E + A N^(-alpha)
N은 가중치 수, alpha는 지수(얼마나 빨리 나아지는지), E는 바닥: 이 데이터에서 이 계열의 어떤 모델도 이길 수 없는 손실이에요. 일부는 텍스트가 예측할 수 없어서고, 일부는 계열 자체의 한계예요(이 모델은 늘 문자 8개 뒤까지만 봐요). 다른 계열, 예를 들어 더 멀리 거슬러 읽는 계열은 바닥이 더 낮아요. 바닥이 없으면 작은 모델에 맞춘 것이 큰 모델이 얻는 걸 과대평가해요.
맞추는 법: 0과 가장 작은 손실 바로 아래 사이의 각 후보 바닥 E에 대해, 로그를 취하면 log(loss - E) = log A - alpha log N, 직선이니, 최소 제곱으로 맞추세요. 곡선이 손실 자체에 대해 제곱 오차가 가장 작은 E를 남기세요.
오차 막대: 크기마다 시드가 셋 있어요. 매번 크기마다 시드 하나를 무작위로 골라서 여러 번 다시 맞추고(부트스트랩), alpha의 퍼짐을 보세요. 장면을 보세요: 같은 점들, 바닥이 있을 때와 없을 때 맞춘 곡선, 그리고 부트스트랩 맞춤의 띠.
이 레슨의 단어와 기호
- 거듭제곱 법칙
- y = A x^-alpha: 로그-로그 축에서 직선
- 지수 (alpha, beta)
- 가중치가 많아지면(alpha) 또는 데이터가 많아지면(beta) 손실이 얼마나 빨리 떨어지는지
- 바닥 (E)
- 이 데이터에서 어떤 모델도 이길 수 없는 손실
- 토큰
- 여기서는 예측 하나: 문자 하나
- 부트스트랩
- 다시 뽑은 데이터로 다시 맞춰서 맞춘 숫자가 얼마나 움직일지 보기
설명대로 (E, A, alpha)를 반환하는 fit(N, loss)를 쓰세요(0부터 0.999 × 가장 작은 손실까지 후보 바닥 400개). 150만 토큰 실행(폭마다 평균 하나)을 main에 맞추고, 그다음 부트스트랩 다시 맞추기를 100번 돌리고 interval을 alpha의 5번째와 95번째 백분위수로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.