LoRA, dibangun
Kenapa ini penting Membangunnya sekali membuat tiga hal jadi jelas: kenapa awalnya tidak berbahaya, kenapa gradientnya murah, dan kenapa bobot aslinya tidak pernah berubah.
A Layer LoRA pada engine rumah: forward adalah x W + (alpha / r) x A B, dengan W dibekukan. Engine menghitung gradien untuk A dan B sendiri (engine Modul 4 kamu juga akan begitu); W hanya tidak boleh diperbarui, yang kamu periksa.
Kata dan simbol di pelajaran ini
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
Tulis lora_forward(x, W, A, B, alpha) dengan operasi engine. Lalu cek, pada layer kecil di starter: output sama dengan x W saat B nol; setelah satu backward pass, W tidak berubah tapi A atau B berubah; dan gradient A cocok dengan nudging. Atur max_gap ke selisih terbesar. Engine bekerja dalam float32, jadi nudge dengan h = 1e-3 atau lebih: dengan 1e-4 perubahan pada loss hilang karena pembulatan dan gradient yang benar terlihat salah.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.