강의 계획 레슨 246개 중 153번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

작은 GPT를 실시간으로 훈련하기

왜 중요한가 모든 것이 합쳐져요: 임베딩, 위치, 마스크를 씌운 멀티 헤드 어텐션, 잔차와 층 정규화를 다음 문자 예측으로 Adam으로 훈련하기. 자기 CPU에서, 몇 초 만에.

폭 32, 블록 2개, 헤드 4개, 맥락 32문자: 매개변수 약 29,000개. 조각 16개씩 150걸음, 노트북에서 몇 초. 곡선 맞히기: 시작 때와 150걸음 뒤의 손실. (95개 문자에 걸친 고른 추측은 ln 95 = 4.55예요.)

그다음 거기서 샘플링하세요. 150걸음 뒤에는 대략 맞는 자리에 공백이 있는 글자 수프를 만들어요. 2,000걸음 훈련한 기록된 폭 64 모델은 단어 모양의 텍스트를 써요. 같은 코드, 더 많은 계산.

이 레슨의 단어와 기호
어텐션
query-key 점수의 softmax로 value를 평균 내기
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
층 정규화
각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
내 차례

my_guess를 채우고, 그다음 corpus.TEXT에서 model.train(150걸음, 학습률 0.003, 배치 16)으로 훈련하고 기록을 hist에 지니세요. 호출은 hist = model.train(text, steps=..., lr=..., batch=...)이에요. 딕셔너리를 반환하는데, 그 hist['loss']는 20걸음마다(그리고 마지막 걸음에) 기록한 훈련 손실이고, 그 뒤에 model.generate(prompt, n, temperature)가 텍스트를 써요. (help(model.train)도 이걸 출력해요.) 마지막으로 기록된 손실 5개의 평균이 2.85 아래여야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.