LoRA، ساختهشده
چرا مهم است یک بار ساختنش سه چیز را آشکار میکند: چرا بیخطر شروع میکند، چرا گرادیانهایش ارزاناند، و چرا وزنهای اصلی هرگز تغییر نمیکنند.
یک لایهٔ LoRA روی موتور دوره: گذر رو به جلو x W + (alpha / r) x A B است، با W منجمد. موتور گرادیانهای A و B را خودش حساب میکند (موتور ماژول 4 شما هم میکرد)؛ فقط W نباید بهروز شود، که آن را بررسی میکنید.
واژهها و نمادهای این درس
- LoRA
- سازگاری کمرتبه: یک ماتریس وزن منجمد بهعلاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
lora_forward(x, W, A, B, alpha) را با عملیات موتور بنویسید. سپس روی لایهٔ کوچک کد آغازین بررسی کنید: تا وقتی B صفر است خروجی برابر x W است؛ پس از یک گذر رو به عقب، W بهروزرسانی ندارد اما A یا B دارد؛ و گرادیان A با جابهجایی جور است. max_gap را برابر بزرگترین تفاوت قرار دهید. موتور در float32 کار میکند، پس با h = 1e-3 یا بیشتر جابهجا کنید: با 1e-4 تغییر زیان در گرد کردن گم میشود و یک گرادیان درست اشتباه به نظر میرسد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.