더 나은 평균, 같은 실력
왜 중요한가 "우리 모델의 손실이 더 낮다"는 언어 모델링에서 가장 흔한 주장이에요. 손실은 모든 예측에 걸친 평균이고, 평균은 신경 쓰는 부분이 전혀 나아지지 않아도 나아질 수 있어요.
강좌는 같은 방식으로 훈련한 GPT 둘을 기록했어요, 폭 32와 64. 넓은 쪽의 따로 떼어 둔 손실이 더 낮아요. 하지만 예측이 모두 같지는 않아요: 시작한 단어를 끝내는 것("gradi" 다음 "e")은 쉽고, 다음 단어의 첫 글자를 고르는 건 다음에 무엇을 말할지 고르는 거라서 어려워요.
judge.per_position(model, X, Y)가 각 예측의 손실을 줘요. 모든 위치, 단어의 첫 글자, 각 단어의 나머지에 걸쳐 그걸 평균 내세요.
먼저 예측하세요: 넓은 모델이 다음 단어를 고르는 걸 더 잘하게 될까요?
이 레슨의 단어와 기호
- 시드
- 실행의 무작위 선택을 고정하는 숫자. 다른 시드는 다른 결과를 줘요
my_guess를 "yes"나 "no"로 설정하세요. 폭 32와 64에 대해 loss[width]를 'all', 'first letter', 'inside word'의 dict로 채우세요. gain_from을 넓은 모델의 이득이 나오는 위치의 종류("first letter" 또는 "inside word")로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.