سرفصل‌ها درس 211 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

چقدر باریک کافی است؟ (رتبه)

چرا مهم است رتبه تنها تنظیم واقعی LoRA است. خیلی باریک و نمی‌تواند کار تازه را یاد بگیرد؛ پس از نقطه‌ای، رتبهٔ بیشتر تقریباً هیچ چیز نمی‌خرد. اینکه آن نقطه کجا می‌نشیند ارزش پیش‌بینی پیش از پرداختش را دارد.

دوره LoRA را روی کد در رتبه‌های 1 تا 64، و تنظیم دقیق کامل را، هر کدام با 3 بذر و 200 گام آموزش داد (adapt.recorded()). هر ردیف رتبه، وزن‌های قابل آموزش، زیان کد (تازه) و زیان انگلیسی (کهنه) را دارد.

پیش‌بینی منحنی

پیش از خواندنشان، زیان کد را در رتبه‌های 1، 4، 16 و 64 حدس بزنید. تکیه‌گاه‌ها: پیش از آموزش 3.25؛ تنظیم دقیق کامل حدود 2.19.

واژه‌ها و نمادهای این درس
تنظیم دقیق
ادامهٔ آموزش یک مدل آموزش‌دیده روی دادهٔ تازه
LoRA
سازگاری کم‌رتبه: یک ماتریس وزن منجمد به‌علاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
رتبه (r)
اینکه دو ماتریس LoRA چقدر باریک‌اند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
نوبت شما

my_guess (چهار زیان کد) را پر کنید، سپس by_rank را: برای رتبه‌های 1، 4، 16، 64 و "full"، میانگین زیان کد و میانگین زیان انگلیسی روی 3 بذر. diminishing را اگر رفتن از رتبهٔ 16 به 64 کمتر از یک‌چهارم آنچه رفتن از 1 به 4 سود دارد سود ببرد True قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.