강의 계획 레슨 250개 중 201번째 · 개념으로 보는 파인튜닝
개념으로 보는 파인튜닝

지시 튜닝 데이터셋 선별하기

이 모듈이 할 수 있는 것과 없는 것을 솔직하게 말할게요. 모델 파인튜닝은 GPU 작업이에요. 기반 모델을 가져와 예시 쌍을 수천 개 보여 주고, 경사 하강으로 가중치를 조금씩 움직여요. 거기에는 훈련 반복문, GPU, 몇 시간의 계산이 필요해요. 그중 어느 것도 이 브라우저 샌드박스에서는 돌지 않아요(torch도, GPU도, 네트워크도 없어요). 그러니 그런 척하지 않을 거예요.

대신 가르칠 건 AI 엔지니어가 실제로 대부분의 시간을 쓰는 부분이자, 비싼 GPU 실행이 쓸 만한 걸 내놓을지 정하는 부분이에요: 데이터셋. 이 분야의 유명한 결과(LIMA, "Less Is More for Alignment")는 신중하게 선별한 예시 약 1,000개가 훨씬 큰 잡음 더미를 이긴다는 걸 보여 줬어요. 쓰레기가 들어가면 쓰레기가 나온다는 건 여기서 구호가 아니라 게임의 전부예요. GPU에 먹일 데이터셋을 내가 만들어요.

지시 튜닝 기록은 작은 dict일 뿐이에요. 흔한 모양은 instruction(사용자가 요청하는 것), 선택적인 input(추가 맥락), 그리고 정답 output(좋은 모델이 답해야 할 것)이에요:

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

이것이 훈련기에 닿기 전에 정리해야 해요. 실제 내보낸 데이터에는 output이 빠진 행, 공백뿐인 빈 instruction, 문자열이어야 할 곳의 틀린 타입, 그리고 계산을 낭비하고 모델을 반복된 예시 쪽으로 치우치게 하는 정확한 중복이 가득해요. 내 일은 결정적인 거름망이에요.

함수 두 개를 만드세요.

  • validate_pair(example) -> example이 dict이고 그 instruction과 output이 둘 다 .strip() 뒤에 비어 있지 않은 문자열일 때만 True. 그 밖의 것(빠진 키, 문자열 아님, 비었거나 공백뿐)은 False를 돌려줘요. 빠진 input은 괜찮아요, 선택 사항이니까요.
  • clean_dataset(rows) -> 올바르지 않은 쌍을 모두 버리고, 그다음 정확한 중복(strip 한 뒤 같은 instruction, 같은 input, 같은 output)을 버리되 첫 번째 것을 남겨요. {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}를 돌려줘요.

올바르지 않은 행은 dropped_invalid로, 올바르지만 반복된 행은 dropped_duplicate로 세요. 개수는 맞아떨어져야 해요: input == kept + dropped_invalid + dropped_duplicate.

실제 파이프라인에서는 정리된 행이 그다음 토큰화되어 훈련기로 흘러가요. 그 단계는 여기서는 개념뿐이지만, 데이터셋이 흘러 들어가는 지형은 알아 둘 만해요. 전체 파인튜닝은 모델의 모든 가중치를 갱신해요: 가장 정확하고, 가장 비싸고, 모델의 완전한 새 사본을 만들어요. LoRA / PEFT(매개변수 효율적 파인튜닝)는 기반 모델을 얼리고 그 위에 얹히는 작은 저랭크 어댑터만 훈련하니, 실행이 GPU 하나에 들어가고 공유된 기반 하나에 어댑터를 바꿔 끼울 수 있어요. 그리고 평범한 지도 파인튜닝 너머에는 정답 대신 사람의 선호에서 말투와 안전을 맞추는 선호 튜닝이 있어요: DPO(Direct Preference Optimization)는 선택된 답과 거절된 답의 쌍으로 직접 훈련하고, 옛 RLHF/PPO 보상 모델 반복보다 단순하고 안정적인 대안이에요. 지저분한 작은 데이터셋을 정리하고 통계를 출력하려면 실행을 누르세요.

내 차례

example이 dict이고 그 instruction과 output이 둘 다 (.strip() 뒤에) 비어 있지 않은 문자열일 때만 True를 돌려주는 validate_pair(example)를 쓰세요. 그 밖의 모든 것은 False를 돌려줘요(빠진 input은 허용). 그다음 올바르지 않은 쌍과 정확한 중복(strip 한 instruction/input/output이 같으면, 첫 번째를 남김)을 버리고 {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}를 돌려주는 clean_dataset(rows)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.