큰 선생, 작은 학생(증류)
왜 중요한가 작은 모델은 돌리기 싸요. 증류(Hinton, Vinyals and Dean, 2015)는 작은 모델이 맞는 답만이 아니라 큰 모델의 전체 답을 베끼도록 훈련해요: "아마 e, 어쩌면 a, 확실히 z는 아님". 그 부드러운 답은 예시당 텍스트만보다 더 많은 정보를 담아요.
학생: 16폭 GPT(가중치 약 8,000개). 선생: 64폭 GPT. 손실은 두 부분을 섞어요: 절반은 텍스트와의 평범한 교차 엔트로피, 절반은 선생의 확률과의 교차 엔트로피, 둘 다 선생의 둘째 선택이 치도록 온도 2로 부드럽게.
강좌는 학생을 두 방식으로, 시드 셋으로 훈련하고, 300, 1000, 3000걸음에서 따로 떼어 둔 영어 손실을 기록했어요.
먼저 예측하세요: 300걸음에서 가르침 받은 학생이 혼자 훈련한 학생을 이길까요? 그리고 3000에서는?
이 레슨의 단어와 기호
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 증류
- 작은 학생이 큰 선생의 전체 확률을 베끼도록 훈련하기
- 온도(증류)
- 둘째 선택이 더 치도록 softmax 전에 점수를 나누기
300과 3000걸음에 대한 guess를 "taught wins", "alone wins", "no clear difference" 중 하나로 설정하세요. 그다음 gap을 채우세요: 300, 1000, 3000걸음 각각에 대해 혼자 평균 빼기 가르침 평균(양수면 증류가 도움이 됐다는 뜻). 그리고 거기서 규칙으로 verdict를 설정하세요: 어느 쪽으로든 0.03 아래의 틈은 no clear difference예요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.