더 큰 모델 추측하기
왜 중요한가 큰 모델을 훈련하는 데는 몇 달과 수백만이 들어요. 누구든 그걸 쓰기 전에, 작은 실행으로 그게 얼마나 좋을지 예측해요. AI 붐 뒤의 놀라운 사실은 그 예측이 보통 맞는다는 거예요. 먼저 자기 직관이 얼마나 좋은지 보세요.
이 모듈의 모델은 작은 문자 모델이에요: 문자 8개를 읽고 다음을 예측해요. 숫자 하나가 크기를 정해요, 은닉층의 폭. 강좌는 그중 150개(폭 10가지, 데이터 양 5가지, 각각 시드 셋)를 자기 레슨 텍스트 150만 문자로 훈련하고, 각각의 손실을 한 번도 보지 않은 100,000문자에서 쟀어요.
150만 토큰으로 훈련한 폭 128 모델(가중치 24,401개)은 따로 떼어 둔 손실 약 1.86에 닿아요. 여기서 토큰은 예측 하나: 문자 하나예요.
보기 전에: 폭 1024 모델은 가중치가 7.7배예요. 같은 데이터로 훈련하면 어떤 손실에 닿을까요? 참고로: 모든 문자를 똑같이 그럴듯하게 예측하면 4.42를 받고, 이 모델들 중 최고는 2 아래로 가요.
이 레슨의 단어와 기호
- 토큰
- 여기서는 예측 하나: 문자 하나
my_guess를 150만 토큰에서 폭 1024에 대해 예측한 따로 떼어 둔 손실로 설정하세요. 그다음 기록된 실행으로 actual을(시드 셋에 걸친 평균), 그리고 error를 얼마나 빗나갔는지(actual 빼기 guess)로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.