GPT را روی متن خودتان تنظیم دقیق کنید
چرا مهم است این استفادهٔ روزمره است: یک مدل عمومی، متن شما، یک آداپتور ارزان. آزمون این است که آیا متن شما را یاد گرفت و بقیه را نگه داشت.
متن خودتان را در my_text بگذارید: یادداشتها، یک جستار، کدی که نوشتهاید، دستکم 5,000 نویسه (پیشفرض برشی از راهحلهای پایتون است تا درس همانطور که داده شده اجرا شود). نویسههایی که مدل هرگز ندیده حذف میشوند. 20% آخر برای آزمون کنار گذاشته میشود.
LoRA با رتبهٔ 8 را برای 60 گام از 8 پنجره آموزش دهید. وقتی قبول میشوید که بخش کنار گذاشتهشدهٔ متنتان دستکم 0.3 بهتر از مدل پایه امتیاز بگیرد و زیان انگلیسی کمتر از 0.5 بالا رفته باشد. برای مقیاس، روی متن پیشفرض: LoRA انگلیسی را حدود 0.29، تنظیم دقیق کامل حدود 0.69 بالا میبرد، و هر دو متن را تقریباً به یک اندازه خوب یاد میگیرند.
واژهها و نمادهای این درس
- تنظیم دقیق
- ادامهٔ آموزش یک مدل آموزشدیده روی دادهٔ تازه
- LoRA
- سازگاری کمرتبه: یک ماتریس وزن منجمد بهعلاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
- رتبه (r)
- اینکه دو ماتریس LoRA چقدر باریکاند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
base_scores و tuned_scores را پر کنید: (زیان انگلیسی، زیان روی 20% کنار گذاشتهشدهٔ متنتان) پیش و پس از آموزش مدل LoRA.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.