강의 계획 레슨 246개 중 209번째 · 모듈 20: 훈련된 모델을 싸게 적응시키기
모듈 20: 훈련된 모델을 싸게 적응시키기

큰 얼린 행렬 더하기 얇은 행렬 둘(보기)

왜 중요한가 LoRA(Hu et al. 2021)는 오늘날 대부분의 모델이 맞춤화되는 방식이에요, 가중치의 아주 작은 부분만 훈련하고 원본은 건드리지 않으니까요. 생각은 그림 한 장에 들어가요.

d_in × d_out인 가중치 행렬 W를 가져오세요. 얼리세요. 그 옆에 얇고 훈련 가능한 행렬 둘을 두세요: 작은 랭크 r의 A(d_in × r)와 B(r × d_out). 층은 이걸 계산해요

x W + (alpha / r) x A B

A B는 W에 대한 변화인 완전한 d_in × d_out 행렬이지만, 숫자 (d_in + d_out) × r개로만 만들어져요. B는 0에서 시작하니, 처음엔 모델이 정확히 원본이에요.

GPT에는 블록 2개 각각에 가중치 행렬이 넷 있어요: qkv(64 × 192), o(64 × 64), w1(64 × 256), w2(256 × 64). 장면을 보고, 그다음 세세요.

이 레슨의 단어와 기호
LoRA
저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
랭크 (r)
LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
내 차례

lora_weights(shapes, r)를 쓰세요: (d_in, d_out) 모양 리스트에 대해 랭크 r에서 LoRA가 더하는 훈련 가능한 가중치 수. shapes를 GPT의 목표 행렬 8개로 채우고, 그다음 랭크 1, 4, 16, 64에 대한 counts와 overtakes를 설정하세요: 그 랭크들 중 LoRA가 모델 전체(107,072)보다 많은 가중치를 훈련하는 가장 작은 랭크.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.