모듈 20: 훈련된 모델을 싸게 적응시키기
관문: 예산 안의 새 과제(AI 끄기)
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 진짜 적응 작업에는 목표, 예산, 그리고 망가뜨리면 안 되는 무언가가 있어요. 셋 모두를, 한꺼번에, 혼자.
관문 규칙: AI 튜터는 꺼져 있어요. 기록된 GPT를 각각 창 8개씩 많아야 60 훈련 걸음으로 Python 코드에 적응시키세요. 새 실행(새 시드)에서의 목표:
- 따로 떼어 둔 코드 손실 많아야 2.43(기본은 3.25),
- 따로 떼어 둔 영어 손실 많아야 2.00(기본은 1.70),
plan을 설정하세요: 방법 "full" 또는 "lora", 랭크(LoRA면 1에서 64), 걸음, 학습률. 확인은 새 시드로 계획을 한 번 훈련해요.
이 레슨의 단어와 기호
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 랭크 (r)
- LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
내 차례
plan을 채우세요.
AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.