Sebuah matriks beku besar ditambah dua matriks tipis (Lihat ini)
Kenapa ini penting LoRA (Hu et al. 2021) adalah cara kebanyakan model dikustomisasi saat ini, karena ia melatih sebagian kecil dari weights dan membiarkan yang asli tetap utuh. Idenya bisa dijelaskan dalam satu gambar.
Ambil matriks bobot W, d_in kali d_out. Bekukan. Di sampingnya, letakkan dua matriks tipis yang bisa dilatih: A (d_in kali r) dan B (r kali d_out), dengan rank r yang kecil. Lapisan ini menghitung
x W + (alpha / r) x A B
A B adalah matriks d_in x d_out yang lengkap, sebuah perubahan pada W, tapi ini dibangun hanya dari (d_in + d_out) x r angka. B dimulai dari nol, jadi awalnya model persis sama dengan yang asli.
GPT punya empat matriks bobot di setiap 2 bloknya: qkv (64 by 192), o (64 by 64), w1 (64 by 256) dan w2 (256 by 64). Tonton adegannya, lalu hitung.
Kata dan simbol di pelajaran ini
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
- rank (r)
- betapa tipisnya dua matriks LoRA: (d_in + d_out) x r bobot yang dapat dilatih per matriks
Tulis lora_weights(shapes, r): jumlah bobot yang bisa dilatih yang ditambahkan LoRA untuk daftar bentuk (d_in, d_out) pada rank r. Isi shapes dengan 8 matriks target GPT, lalu atur counts untuk rank 1, 4, 16 dan 64, dan overtakes: rank terkecil dari itu di mana LoRA melatih lebih banyak bobot daripada seluruh model (107,072).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.