강의 계획 레슨 246개 중 217번째 · 모듈 20: 훈련된 모델을 싸게 적응시키기
모듈 20: 훈련된 모델을 싸게 적응시키기

관문: 예산 안의 새 과제(AI 끄기)

왜 중요한가 진짜 적응 작업에는 목표, 예산, 그리고 망가뜨리면 안 되는 무언가가 있어요. 셋 모두를, 한꺼번에, 혼자.

관문 규칙: AI 튜터는 꺼져 있어요. 기록된 GPT를 각각 창 8개씩 많아야 60 훈련 걸음으로 Python 코드에 적응시키세요. 새 실행(새 시드)에서의 목표:

  • 따로 떼어 둔 코드 손실 많아야 2.43(기본은 3.25),
  • 따로 떼어 둔 영어 손실 많아야 2.00(기본은 1.70),

plan을 설정하세요: 방법 "full" 또는 "lora", 랭크(LoRA면 1에서 64), 걸음, 학습률. 확인은 새 시드로 계획을 한 번 훈련해요.

이 레슨의 단어와 기호
LoRA
저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
랭크 (r)
LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
내 차례

plan을 채우세요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.