작은 GPT를 실시간으로 훈련하기
왜 중요한가 모든 것이 합쳐져요: 임베딩, 위치, 마스크를 씌운 멀티 헤드 어텐션, 잔차와 층 정규화를 다음 문자 예측으로 Adam으로 훈련하기. 자기 CPU에서, 몇 초 만에.
폭 32, 블록 2개, 헤드 4개, 맥락 32문자: 매개변수 약 29,000개. 조각 16개씩 150걸음, 노트북에서 몇 초. 곡선 맞히기: 시작 때와 150걸음 뒤의 손실. (95개 문자에 걸친 고른 추측은 ln 95 = 4.55예요.)
그다음 거기서 샘플링하세요. 150걸음 뒤에는 대략 맞는 자리에 공백이 있는 글자 수프를 만들어요. 2,000걸음 훈련한 기록된 폭 64 모델은 단어 모양의 텍스트를 써요. 같은 코드, 더 많은 계산.
이 레슨의 단어와 기호
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
- 층 정규화
- 각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
my_guess를 채우고, 그다음 corpus.TEXT에서 model.train(150걸음, 학습률 0.003, 배치 16)으로 훈련하고 기록을 hist에 지니세요. 호출은 hist = model.train(text, steps=..., lr=..., batch=...)이에요. 딕셔너리를 반환하는데, 그 hist['loss']는 20걸음마다(그리고 마지막 걸음에) 기록한 훈련 손실이고, 그 뒤에 model.generate(prompt, n, temperature)가 텍스트를 써요. (help(model.train)도 이걸 출력해요.) 마지막으로 기록된 손실 5개의 평균이 2.85 아래여야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.