강의 계획 레슨 246개 중 207번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

관문: 훈련 실행 계획하기(AI 끄기)

왜 중요한가 이게 스케일링 법칙이 존재하는 이유인 결정이에요: 예산이 있고 기회는 한 번. 증거로 계획하세요.

관문 규칙: AI 튜터는 꺼져 있어요. 격자와 같은 텍스트에서 강좌의 문자 모델을 한 번 실행하는 데 3 × 10^10 FLOP이 있어요. 폭(2의 거듭제곱)과 그러면 예산이 허락하는 토큰 수를 고르세요. 기록된 격자를 어떤 식으로든 쓰세요: 맞춤, 표, 둘 다.

확인은 강좌의 두 변수 맞춤으로 자기 선택과 가능한 최선의 선택의 손실을 예측하고, 자기 것이 최선에서 0.02 안이고 예산을 썼을 때(1% 안) 통과시켜요.

이 레슨의 단어와 기호
스케일링 법칙
가중치, 데이터, 계산이 커질 때 손실이 어떻게 떨어지는지, 보통 바닥 쪽으로의 거듭제곱 법칙
토큰
여기서는 예측 하나: 문자 하나
FLOP (6 N D)
훈련 비용: 토큰당 가중치당 약 6번의 연산
내 차례

width와 tokens를 설정하세요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.