모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
관문: 훈련 실행 계획하기(AI 끄기)
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 이게 스케일링 법칙이 존재하는 이유인 결정이에요: 예산이 있고 기회는 한 번. 증거로 계획하세요.
관문 규칙: AI 튜터는 꺼져 있어요. 격자와 같은 텍스트에서 강좌의 문자 모델을 한 번 실행하는 데 3 × 10^10 FLOP이 있어요. 폭(2의 거듭제곱)과 그러면 예산이 허락하는 토큰 수를 고르세요. 기록된 격자를 어떤 식으로든 쓰세요: 맞춤, 표, 둘 다.
확인은 강좌의 두 변수 맞춤으로 자기 선택과 가능한 최선의 선택의 손실을 예측하고, 자기 것이 최선에서 0.02 안이고 예산을 썼을 때(1% 안) 통과시켜요.
이 레슨의 단어와 기호
- 스케일링 법칙
- 가중치, 데이터, 계산이 커질 때 손실이 어떻게 떨어지는지, 보통 바닥 쪽으로의 거듭제곱 법칙
- 토큰
- 여기서는 예측 하나: 문자 하나
- FLOP (6 N D)
- 훈련 비용: 토큰당 가중치당 약 6번의 연산
내 차례
width와 tokens를 설정하세요.
AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.