시퀀스 모델을 위한 조리법
왜 중요한가 모듈 8의 확인 둘(시작 때의 손실, 배치 하나 외우기)은 여전히 적용돼요. 시퀀스 모델은 조용히 실패하는 새 방법을 더하고, 싼 확인 둘이 계산을 쓰기 전에 그중 최악을 잡아요.
클리닉의 모델은 작은 GPT예요: 폭 16, 블록 2개, 헤드 2개, 맥락 16문자, 강좌 텍스트에서 Adam 200걸음. 몇 초 만에 훈련되니, 프로브를 쓸 여유가 있어요.
확인 1: 시작 손실
가중치가 작은 새 모델은 추측을 V개 문자에 고르게 퍼뜨리니, 손실이 ln(V)예요. 문자 95개면 4.55예요. 그보다 훨씬 높으면 무언가 크기가 잘못된 거고, 훨씬 낮으면 모델이 받으면 안 되는 도움을 받고 있다는 뜻이에요.
확인 2: 엿보기 금지
입력의 마지막 문자를 바꾸세요. 앞 위치의 예측이 하나라도 바뀌면 모델이 미래를 볼 수 있는 거고(모듈 13), 얻는 모든 훈련 숫자가 믿기엔 너무 좋아요.
| 프로브 | 알려 주는 것 | 건강한 실행 |
|---|---|---|
loss_curve(c) | 25걸음마다의 훈련 손실, 그리고 끝에 본 적 없는 텍스트에서의 손실. 언제나 먼저 보세요. | 4.55에서 약 2.9로. 본 적 없는 것은 약 3.0 |
loss_at_init(c) | 훈련 전의 손실. 문자 95개에 걸쳐 고르게 추측하는 새 모델은 ln(95)를 줘요. | 4.55 |
leak_check(c) | 뒤의 문자가 앞의 예측을 바꿀 수 있나? | False |
show_batch(c) | 훈련 입력 하나와 그 목표값, 텍스트로. | 목표값 = 한 문자 왼쪽으로 옮긴 입력 |
update_ratio(c) | 첫 Adam 걸음 뒤에 가중치가 그 크기에 비해 얼마나 움직였는지. 모듈 8의 규칙이 아니에요: 그 0.001~0.1 범위는 평범한 SGD 걸음에 대한 거예요. Adam의 첫 걸음은 기울기가 무엇이든 모든 가중치를 약 학습률만큼 옮기고, 이 가중치들은 0.02 근처에서 시작하니, 0.01 / 0.02로 약 0.5가 나와요. 경우를 모듈 8의 범위가 아니라 이 건강한 실행과 비교하세요. | 약 0.5 |
block_change(c) | 시작할 때 첫 블록이 각 벡터를 얼마나 바꾸는지. | 약 0.3 |
이 레슨의 단어와 기호
- ln(V)
- V개 기호에 걸쳐 고르게 추측하는 모델의 시작 손실: 문자 95개면 4.55
- 믿기엔 너무 좋음
- 훈련 손실은 건강한 실행보다 훨씬 좋고, 본 적 없는 텍스트 손실은 훨씬 나쁨
- 블록 변화
- 시작할 때 블록 하나가 벡터를 얼마나 바꾸는지. 1 근처면 대체했다는 뜻이에요
클리닉 자체의 _init, _logits, DATA를 써서 expected_start(V)와 my_leak_check(c)를 쓰세요. 클리닉의 프로브와 맞아야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.