강의 계획 레슨 246개 중 213번째 · 모듈 20: 훈련된 모델을 싸게 적응시키기
모듈 20: 훈련된 모델을 싸게 적응시키기

큰 선생, 작은 학생(증류)

왜 중요한가 작은 모델은 돌리기 싸요. 증류(Hinton, Vinyals and Dean, 2015)는 작은 모델이 맞는 답만이 아니라 큰 모델의 전체 답을 베끼도록 훈련해요: "아마 e, 어쩌면 a, 확실히 z는 아님". 그 부드러운 답은 예시당 텍스트만보다 더 많은 정보를 담아요.

학생: 16폭 GPT(가중치 약 8,000개). 선생: 64폭 GPT. 손실은 두 부분을 섞어요: 절반은 텍스트와의 평범한 교차 엔트로피, 절반은 선생의 확률과의 교차 엔트로피, 둘 다 선생의 둘째 선택이 치도록 온도 2로 부드럽게.

강좌는 학생을 두 방식으로, 시드 셋으로 훈련하고, 300, 1000, 3000걸음에서 따로 떼어 둔 영어 손실을 기록했어요.

먼저 예측하세요: 300걸음에서 가르침 받은 학생이 혼자 훈련한 학생을 이길까요? 그리고 3000에서는?

이 레슨의 단어와 기호
LoRA
저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
증류
작은 학생이 큰 선생의 전체 확률을 베끼도록 훈련하기
온도(증류)
둘째 선택이 더 치도록 softmax 전에 점수를 나누기
내 차례

300과 3000걸음에 대한 guess를 "taught wins", "alone wins", "no clear difference" 중 하나로 설정하세요. 그다음 gap을 채우세요: 300, 1000, 3000걸음 각각에 대해 혼자 평균 빼기 가르침 평균(양수면 증류가 도움이 됐다는 뜻). 그리고 거기서 규칙으로 verdict를 설정하세요: 어느 쪽으로든 0.03 아래의 틈은 no clear difference예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.