Chương trình học Bài 203 trên tổng số 250 · Fine-tuning, về mặt khái niệm
Fine-tuning, về mặt khái niệm

Chia train/val có tính quyết định

Khi bộ dữ liệu đã sạch, bạn phải chia nó: phần lớn các hàng đi vào train (thứ mô hình học từ đó) và một phần được giữ lại đi vào validation (thứ bạn chấm điểm nó). Tập được giữ lại là thiêng liêng. Nếu một ví dụ rò vào cả hai nửa, con số validation của bạn là một lời nói dối, vì mô hình đã được kiểm tra trên thứ nó đã học. Nên phép chia phải là một phân hoạch sạch: không chồng lấn, không mất gì.

Nó cũng phải tái lập được. "Nó được 0.81" là vô nghĩa nếu chạy lại script xáo thành một phép chia khác và cho ra 0.79. Cách sửa giống với cách bạn dùng ở mọi nơi tính ngẫu nhiên xuất hiện trong học máy: đặt seed cho bộ sinh. Cùng một seed luôn tạo ra cùng một phép chia, nên thí nghiệm của bạn lặp lại được và một đồng đội có thể tái tạo chính xác các con số của bạn.

Để ý ta xáo các chỉ số, không phải chính các hàng, và ta truyền một seed rõ ràng cho một bộ sinh riêng thay vì đụng tới bộ sinh toàn cục:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

Dùng random.Random(seed) (một bộ sinh mới, tách biệt), không phải random.seed(...) trên mô-đun toàn cục, để việc gọi hàm của bạn không lặng lẽ thay đổi tính ngẫu nhiên ở chỗ khác trong chương trình.

Xây split_dataset(rows, val_frac, seed) trả về {"train": [...], "val": [...]} trong đó:

  • kích thước validation là int(round(len(rows) * val_frac)), và train là phần còn lại;
  • train và val rời nhau và cùng nhau chứa mọi hàng gốc đúng một lần;
  • CÙNG một seed luôn cho ra CÙNG một phép chia, và một seed khác nói chung cho ra một phép chia khác.

Phần chuẩn bị có tính quyết định này là mọi thứ mà lượt chạy GPU phụ thuộc vào. Việc huấn luyện thật (adapter LoRA, một bộ tối ưu, một đường cong loss) diễn ra trên phần cứng mà sandbox này không có. Bấm Chạy để chia một list và xác nhận hai nửa ghép lại thành toàn bộ.

Đến lượt bạn

Viết split_dataset(rows, val_frac, seed) trả về {"train": [...], "val": [...]}. Xáo một list chỉ số bằng random.Random(seed) (không phải RNG toàn cục), lấy int(round(len(rows) * val_frac)) cái đầu làm validation và phần còn lại làm train. Hai nửa phải rời nhau, cùng nhau phải chứa mọi hàng gốc đúng một lần, và phải tái lập được với một seed cho trước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.