Silabus Pelajaran 201 dari 250 · Fine-Tuning, Secara Konsep
Fine-Tuning, Secara Konsep

Menyusun Dataset Instruction-Tuning

Mari jujur tentang apa yang bisa dan tidak bisa dilakukan modul ini. Fine-tuning sebuah model adalah pekerjaan GPU. Kamu mengambil model dasar, memberinya ribuan pasangan contoh, dan menjalankan gradient descent untuk menggeser bobotnya. Itu butuh training loop, GPU, dan waktu komputasi berjam-jam. Tidak ada yang bisa berjalan di sandbox browser ini (tidak ada torch, tidak ada GPU, tidak ada jaringan). Jadi kita tidak akan berpura-pura sebaliknya.

Apa yang AKAN kita ajarkan adalah bagian yang sebenarnya paling banyak dikerjakan oleh seorang AI engineer, dan bagian yang menentukan apakah proses GPU yang mahal menghasilkan sesuatu yang bagus: dataset. Hasil terkenal di bidang ini (LIMA, "Less Is More for Alignment") menunjukkan bahwa sekitar 1.000 contoh yang dikurasi dengan hati-hati mengalahkan tumpukan data berisik yang jauh lebih besar. Garbage in, garbage out bukan sekadar slogan di sini, itu adalah inti permainannya. Kamu membangun dataset yang memberi makan GPU.

Catatan instruction-tuning hanyalah sebuah dict kecil. Bentuk umumnya adalah instruction (apa yang diminta pengguna), input opsional (konteks tambahan), dan output emas (apa yang harus dijawab model yang bagus):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Sebelum semua ini sampai ke trainer, kamu harus membersihkannya. Ekspor asli penuh dengan baris yang kehilangan output, instruction kosong yang hanya berisi whitespace, tipe yang salah di mana string seharusnya ada, dan duplikat persis yang membuang komputasi dan membuat model condong ke contoh yang berulang. Tugasmu adalah filter deterministik.

Buat dua fungsi.

  • validate_pair(example) -> True hanya jika example adalah dict yang instruction DAN output keduanya adalah string yang tidak kosong setelah .strip(). Selain itu (key hilang, bukan string, kosong atau hanya spasi) mengembalikan False. input yang hilang tidak apa-apa, itu opsional.
  • clean_dataset(rows) -> hapus setiap pasangan yang tidak valid, lalu hapus duplikat yang sama (instruction, input, output yang sama setelah pembersihan), simpan kemunculan PERTAMA. Kembalikan {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

baris yang tidak valid dihitung sebagai dropped_invalid; baris yang valid tapi berulang dihitung sebagai dropped_duplicate. Jumlahnya harus cocok: input == kept + dropped_invalid + dropped_duplicate.

Di pipeline yang nyata, baris yang sudah dibersihkan akan di-tokenize dan dikirim ke trainer. Langkah itu hanya konsep di sini, tapi penting untuk tahu alur data yang kamu miliki. Full fine-tuning memperbarui setiap bobot di model: paling akurat, paling mahal, dan menghasilkan salinan model yang benar-benar baru. LoRA / PEFT (parameter-efficient fine-tuning) membekukan model dasar dan hanya melatih adapter low-rank kecil di atasnya, jadi prosesnya muat di satu GPU dan kamu bisa menukar adapter ke dalam satu basis yang sama. Selain supervised fine-tuning biasa, ada preference tuning, yang menyelaraskan nada dan keamanan dari preferensi manusia daripada jawaban emas: DPO (Direct Preference Optimization) melatih langsung pada pasangan jawaban pilihan-vs-ditolak dan merupakan alternatif yang lebih sederhana serta stabil dibanding loop reward-model RLHF/PPO yang lama. Tekan Run untuk membersihkan dataset kecil yang berantakan dan cetak statistiknya.

Giliranku

Tulis validate_pair(example) yang mengembalikan True hanya jika example adalah dict yang instruction dan output nya keduanya adalah string non-kosong (setelah .strip()); selain itu kembalikan False (input yang hilang diperbolehkan). Lalu tulis clean_dataset(rows) yang membuang pasangan tidak valid dan duplikat persis (instruksi/input/output yang sama setelah di-strip, simpan yang pertama), mengembalikan {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.