Silabus Pelajaran 217 dari 246 · Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Gate: tugas baru dengan anggaran terbatas (AI off)

Kenapa ini penting Pekerjaan adaptasi nyata punya target, anggaran, dan sesuatu yang tidak boleh kamu rusak. Ketiganya, sekaligus, sendirian.

Aturan

Gate: tutor AI mati. Sesuaikan GPT yang direkam ke kode Python dengan maksimal 60 langkah pelatihan yang masing-masing berisi 8 jendela. Target pada jalankan baru (seed baru):

  • kerugian kode held-out maksimal 2.43 (skor dasar 3.25);
  • held-out English loss maksimal 2.00 (skor dasar 1.70);

Atur plan: method "full" atau "lora", rank (untuk LoRA, 1 sampai 64), steps, dan learning rate. Pengecekan ini melatih rencana kamu sekali pada seed baru.

Kata dan simbol di pelajaran ini
LoRA
low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
rank (r)
betapa tipisnya dua matriks LoRA: (d_in + d_out) x r bobot yang dapat dilatih per matriks
Giliranku

Isi plan.

AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.