چقدر باریک کافی است؟ (رتبه)
چرا مهم است رتبه تنها تنظیم واقعی LoRA است. خیلی باریک و نمیتواند کار تازه را یاد بگیرد؛ پس از نقطهای، رتبهٔ بیشتر تقریباً هیچ چیز نمیخرد. اینکه آن نقطه کجا مینشیند ارزش پیشبینی پیش از پرداختش را دارد.
دوره LoRA را روی کد در رتبههای 1 تا 64، و تنظیم دقیق کامل را، هر کدام با 3 بذر و 200 گام آموزش داد (adapt.recorded()). هر ردیف رتبه، وزنهای قابل آموزش، زیان کد (تازه) و زیان انگلیسی (کهنه) را دارد.
پیشبینی منحنی
پیش از خواندنشان، زیان کد را در رتبههای 1، 4، 16 و 64 حدس بزنید. تکیهگاهها: پیش از آموزش 3.25؛ تنظیم دقیق کامل حدود 2.19.
واژهها و نمادهای این درس
- تنظیم دقیق
- ادامهٔ آموزش یک مدل آموزشدیده روی دادهٔ تازه
- LoRA
- سازگاری کمرتبه: یک ماتریس وزن منجمد بهعلاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
- رتبه (r)
- اینکه دو ماتریس LoRA چقدر باریکاند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
my_guess (چهار زیان کد) را پر کنید، سپس by_rank را: برای رتبههای 1، 4، 16، 64 و "full"، میانگین زیان کد و میانگین زیان انگلیسی روی 3 بذر. diminishing را اگر رفتن از رتبهٔ 16 به 64 کمتر از یکچهارم آنچه رفتن از 1 به 4 سود دارد سود ببرد True قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.