얼마나 얇으면 충분한가?(랭크)
왜 중요한가 랭크는 LoRA의 진짜 설정 하나예요. 너무 얇으면 새 과제를 배우지 못하고, 어떤 지점을 넘으면 랭크를 더해도 거의 아무것도 사지 못해요. 그 지점이 어디인지는 값을 치르기 전에 예측할 가치가 있어요.
강좌는 LoRA를 코드로 랭크 1부터 64까지, 그리고 전체 미세 조정을, 각각 시드 셋으로 200걸음 훈련했어요(adapt.recorded()). 각 행에는 랭크, 훈련 가능한 가중치, 코드 손실(새것), 영어 손실(옛것)이 있어요.
곡선 맞히기
읽기 전에 랭크 1, 4, 16, 64에서의 코드 손실을 추측하세요. 기준점: 훈련 전 3.25, 전체 미세 조정 약 2.19.
이 레슨의 단어와 기호
- 미세 조정
- 훈련된 모델을 새 데이터로 계속 훈련하기
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 랭크 (r)
- LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
my_guess(코드 손실 넷)를 채우고, 그다음 by_rank를 채우세요: 랭크 1, 4, 16, 64와 "full"에 대해, 시드 셋에 걸친 평균 코드 손실과 평균 영어 손실. 랭크 16에서 64로 가는 게 1에서 4로 가는 것이 얻는 것의 4분의 1보다 덜 얻으면 diminishing을 True로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.