Chương trình học Bài 201 trên tổng số 250 · Fine-tuning, về mặt khái niệm
Fine-tuning, về mặt khái niệm

Tuyển chọn một bộ dữ liệu instruction-tuning

Hãy thẳng thắn về những gì mô-đun này làm được và không làm được. Fine-tune một mô hình là việc của GPU. Bạn lấy một mô hình nền, cho nó xem hàng nghìn cặp ví dụ, và chạy gradient descent để nhích các trọng số của nó. Việc đó cần một vòng lặp huấn luyện, một GPU, và hàng giờ tính toán. Không thứ nào trong số đó chạy trong sandbox trình duyệt này (không có torch, không GPU, không mạng). Nên ta sẽ không giả vờ khác đi.

Điều ta SẼ dạy là phần mà một kỹ sư AI thật sự dành phần lớn thời gian, và là phần quyết định lượt chạy GPU đắt đỏ có cho ra thứ gì tốt hay không: bộ dữ liệu. Một kết quả nổi tiếng trong ngành (LIMA, "Less Is More for Alignment") cho thấy khoảng 1.000 ví dụ được tuyển chọn kỹ đánh bại một đống lớn hơn nhiều các ví dụ nhiễu. Rác vào, rác ra không phải là khẩu hiệu ở đây, đó là toàn bộ cuộc chơi. Bạn xây bộ dữ liệu nuôi GPU.

Một bản ghi instruction-tuning chỉ là một dict nhỏ. Hình dạng phổ biến là một instruction (người dùng hỏi gì), một input tùy chọn (ngữ cảnh thêm), và output chuẩn (một mô hình tốt nên trả lời gì):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Trước khi bất kỳ thứ gì tới được bộ huấn luyện, bạn phải làm sạch nó. Các bản xuất thật đầy những hàng thiếu output, một instruction trống chỉ có khoảng trắng, một kiểu sai ở chỗ lẽ ra là chuỗi, và các bản trùng y hệt vừa lãng phí tính toán vừa làm mô hình lệch về phía các ví dụ lặp lại. Nhiệm vụ của bạn là một bộ lọc có tính quyết định.

Xây hai hàm.

  • validate_pair(example) -> True chỉ khi example là một dict có instruction VÀ output đều là chuỗi không rỗng sau .strip(). Mọi thứ khác (thiếu khóa, không phải chuỗi, trống hoặc chỉ có khoảng trắng) trả về False. Thiếu input thì không sao, nó là tùy chọn.
  • clean_dataset(rows) -> bỏ mọi cặp không hợp lệ, rồi bỏ các bản trùng y hệt (cùng instruction, cùng input, cùng output sau khi strip), giữ lần xuất hiện ĐẦU TIÊN. Trả về {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

Một hàng không hợp lệ được tính là dropped_invalid; một hàng hợp lệ nhưng lặp lại được tính là dropped_duplicate. Các số đếm phải khớp nhau: input == kept + dropped_invalid + dropped_duplicate.

Trong một pipeline thật, các hàng đã làm sạch sau đó sẽ được tách token và truyền tới một bộ huấn luyện. Bước đó ở đây chỉ là khái niệm, nhưng đáng biết toàn cảnh mà bộ dữ liệu của bạn đổ vào. Fine-tuning toàn phần cập nhật mọi trọng số trong mô hình: chính xác nhất, đắt nhất, và nó tạo ra một bản sao hoàn toàn mới của mô hình. LoRA / PEFT (fine-tuning tiết kiệm tham số) đóng băng mô hình nền và chỉ huấn luyện các adapter hạng thấp nhỏ gắn lên trên, nên lượt chạy vừa một GPU và bạn có thể tháo lắp adapter trên một mô hình nền dùng chung. Và ngoài fine-tuning có giám sát thông thường còn có tinh chỉnh theo sở thích, căn chỉnh giọng điệu và độ an toàn từ sở thích của con người thay vì từ câu trả lời chuẩn: DPO (Direct Preference Optimization) huấn luyện trực tiếp trên các cặp câu trả lời được chọn và bị loại, và là một phương án đơn giản hơn, ổn định hơn so với vòng lặp mô hình thưởng RLHF/PPO cũ. Bấm Chạy để làm sạch một bộ dữ liệu lộn xộn nhỏ và in các số liệu.

Đến lượt bạn

Viết validate_pair(example) chỉ trả về True khi example là một dict có instruction và output đều là chuỗi không rỗng (sau .strip()); mọi thứ khác trả về False (được phép thiếu input). Sau đó viết clean_dataset(rows) bỏ các cặp không hợp lệ và các bản trùng y hệt (cùng instruction/input/output sau khi strip, giữ cái đầu tiên), trả về {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.