سرفصل‌ها درس 212 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

GPT را روی متن خودتان تنظیم دقیق کنید

چرا مهم است این استفادهٔ روزمره است: یک مدل عمومی، متن شما، یک آداپتور ارزان. آزمون این است که آیا متن شما را یاد گرفت و بقیه را نگه داشت.

متن خودتان را در my_text بگذارید: یادداشت‌ها، یک جستار، کدی که نوشته‌اید، دست‌کم 5,000 نویسه (پیش‌فرض برشی از راه‌حل‌های پایتون است تا درس همان‌طور که داده شده اجرا شود). نویسه‌هایی که مدل هرگز ندیده حذف می‌شوند. 20% آخر برای آزمون کنار گذاشته می‌شود.

LoRA با رتبهٔ 8 را برای 60 گام از 8 پنجره آموزش دهید. وقتی قبول می‌شوید که بخش کنار گذاشته‌شدهٔ متنتان دست‌کم 0.3 بهتر از مدل پایه امتیاز بگیرد و زیان انگلیسی کمتر از 0.5 بالا رفته باشد. برای مقیاس، روی متن پیش‌فرض: LoRA انگلیسی را حدود 0.29، تنظیم دقیق کامل حدود 0.69 بالا می‌برد، و هر دو متن را تقریباً به یک اندازه خوب یاد می‌گیرند.

واژه‌ها و نمادهای این درس
تنظیم دقیق
ادامهٔ آموزش یک مدل آموزش‌دیده روی دادهٔ تازه
LoRA
سازگاری کم‌رتبه: یک ماتریس وزن منجمد به‌علاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
رتبه (r)
اینکه دو ماتریس LoRA چقدر باریک‌اند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
نوبت شما

base_scores و tuned_scores را پر کنید: (زیان انگلیسی، زیان روی 20% کنار گذاشته‌شدهٔ متنتان) پیش و پس از آموزش مدل LoRA.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.