یک ماتریس منجمد بزرگ بهعلاوهٔ دو ماتریس باریک (آن را ببینید)
چرا مهم است LoRA (Hu و همکاران 2021) روشی است که امروز بیشتر مدلها با آن سفارشی میشوند، چون کسر ریزی از وزنها را آموزش میدهد و اصل را دستنخورده میگذارد. ایده در یک تصویر جا میشود.
یک ماتریس وزن W، d_in در d_out، بگیرید. منجمدش کنید. کنارش دو ماتریس باریک قابل آموزش بگذارید: A (d_in در r) و B (r در d_out)، با یک رتبهی کوچک r. لایه این را محاسبه میکند
فرمول: x W + (alpha / r) x A B
A B یک ماتریس کامل d_in در d_out است، تغییری در W، اما فقط از (d_in + d_out) x r عدد ساخته شده است. B از صفر شروع میکند، پس در آغاز مدل دقیقاً همان اصل است.
GPT در هر یک از 2 بلوکش چهار ماتریس وزن دارد: qkv (64 در 192)، o (64 در 64)، w1 (64 در 256) و w2 (256 در 64). صحنه را تماشا کنید، سپس بشمارید.
واژهها و نمادهای این درس
- LoRA
- سازگاری کمرتبه: یک ماتریس وزن منجمد بهعلاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
- رتبه (r)
- اینکه دو ماتریس LoRA چقدر باریکاند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
lora_weights(shapes, r) را بنویسید: تعداد وزنهای قابل آموزشی که LoRA برای فهرستی از شکلهای (d_in, d_out) در رتبهٔ r اضافه میکند. shapes را با 8 ماتریس هدف GPT پر کنید، سپس counts را برای رتبههای 1، 4، 16 و 64 تنظیم کنید و overtakes را: کوچکترین آن رتبهها که در آن LoRA وزنهای بیشتری از کل مدل (107,072) آموزش میدهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.