강의 계획 레슨 250개 중 203번째 · 개념으로 보는 파인튜닝
개념으로 보는 파인튜닝

결정적인 훈련/검증 분할

데이터셋이 깨끗해지면 나눠야 해요: 대부분의 행은 훈련(모델이 배우는 것)으로, 빼 둔 조각은 검증(점수를 매기는 것)으로 가요. 빼 둔 세트는 신성해요. 한 예시가 양쪽에 새면 검증 숫자는 거짓말이 돼요. 모델이 훈련한 것으로 테스트받았으니까요. 그래서 분할은 깔끔한 분할이어야 해요: 겹침도 없고, 잃는 것도 없이.

재현 가능해야도 해요. 스크립트를 다시 돌릴 때마다 다른 분할로 섞여 0.79가 나온다면 "0.81점을 받았다"는 의미가 없어요. 해결책은 ML에서 무작위성이 나오는 어디서나 쓰는 것과 같아요: 생성기에 시드를 주세요. 같은 시드는 언제나 같은 분할을 만드니, 실험이 반복 가능하고 동료가 내 정확한 숫자를 재현할 수 있어요.

행 자체가 아니라 인덱스를 섞고, 전역 생성기를 건드리는 대신 비공개 생성기에 명시적인 시드를 넘긴다는 점에 주목하세요:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

함수를 불러도 프로그램의 다른 곳의 무작위성이 조용히 바뀌지 않도록, 전역 모듈의 random.seed(...)가 아니라 random.Random(seed)(새롭고 격리된 생성기)를 쓰세요.

{"train": [...], "val": [...]}를 돌려주는 split_dataset(rows, val_frac, seed)를 만드세요. 조건:

  • 검증 크기는 int(round(len(rows) * val_frac))이고, 훈련은 나머지예요.
  • 훈련과 검증은 서로소이고, 합치면 원래의 모든 행을 정확히 한 번씩 담아요.
  • 같은 시드는 언제나 같은 분할을 내고, 다른 시드는 대체로 다른 분할을 내요.

이 결정적인 준비가 GPU 실행이 기대는 전부예요. 실제 훈련(LoRA 어댑터, 옵티마이저, 손실 곡선)은 이 샌드박스에 없는 하드웨어에서 일어나요. 리스트를 나누고 두 반쪽이 전체를 다시 만드는지 확인하려면 실행을 누르세요.

내 차례

{"train": [...], "val": [...]}를 돌려주는 split_dataset(rows, val_frac, seed)를 쓰세요. 인덱스 리스트를 (전역 RNG가 아니라) random.Random(seed)로 섞고, 처음 int(round(len(rows) * val_frac))개를 검증으로, 나머지를 훈련으로 가져가세요. 두 반쪽은 서로소여야 하고, 합치면 원래의 모든 행을 정확히 한 번씩 담아야 하고, 주어진 시드에 대해 재현 가능해야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.