큰 얼린 행렬 더하기 얇은 행렬 둘(보기)
왜 중요한가 LoRA(Hu et al. 2021)는 오늘날 대부분의 모델이 맞춤화되는 방식이에요, 가중치의 아주 작은 부분만 훈련하고 원본은 건드리지 않으니까요. 생각은 그림 한 장에 들어가요.
d_in × d_out인 가중치 행렬 W를 가져오세요. 얼리세요. 그 옆에 얇고 훈련 가능한 행렬 둘을 두세요: 작은 랭크 r의 A(d_in × r)와 B(r × d_out). 층은 이걸 계산해요
x W + (alpha / r) x A B
A B는 W에 대한 변화인 완전한 d_in × d_out 행렬이지만, 숫자 (d_in + d_out) × r개로만 만들어져요. B는 0에서 시작하니, 처음엔 모델이 정확히 원본이에요.
GPT에는 블록 2개 각각에 가중치 행렬이 넷 있어요: qkv(64 × 192), o(64 × 64), w1(64 × 256), w2(256 × 64). 장면을 보고, 그다음 세세요.
이 레슨의 단어와 기호
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 랭크 (r)
- LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
lora_weights(shapes, r)를 쓰세요: (d_in, d_out) 모양 리스트에 대해 랭크 r에서 LoRA가 더하는 훈련 가능한 가중치 수. shapes를 GPT의 목표 행렬 8개로 채우고, 그다음 랭크 1, 4, 16, 64에 대한 counts와 overtakes를 설정하세요: 그 랭크들 중 LoRA가 모델 전체(107,072)보다 많은 가중치를 훈련하는 가장 작은 랭크.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.