자기 텍스트로 GPT 미세 조정하기
왜 중요한가 이게 일상의 쓰임이에요: 일반 모델, 자기 텍스트, 싼 어댑터. 시험은 그게 자기 텍스트를 배우고 나머지를 지켰는지예요.
my_text에 자기 텍스트를 넣으세요: 메모, 에세이, 직접 쓴 코드, 적어도 5,000문자(기본값은 레슨이 주어진 대로 돌도록 Python 해답의 한 조각이에요). 모델이 본 적 없는 문자는 버려져요. 마지막 20%는 시험용으로 따로 둬요.
랭크 8의 LoRA를 창 8개씩 60걸음 훈련하세요. 자기 텍스트의 따로 떼어 둔 부분이 기본 모델보다 적어도 0.3 더 좋은 점수를 받고, 영어 손실이 0.5보다 적게 올랐을 때 통과예요. 참고로 기본 텍스트에서: LoRA는 영어를 약 0.29, 전체 미세 조정은 약 0.69 올리고, 둘 다 텍스트를 거의 똑같이 잘 배워요.
이 레슨의 단어와 기호
- 미세 조정
- 훈련된 모델을 새 데이터로 계속 훈련하기
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 랭크 (r)
- LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
base_scores와 tuned_scores를 채우세요: LoRA 모델을 훈련하기 전과 뒤의 (영어 손실, 자기 텍스트의 따로 떼어 둔 20%에서의 손실).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.