انتخاب یک روش با یک بودجه
چرا مهم است هر روش در این ماژول پاسخ درست به پرسشی متفاوت است. انتخاب بر اساس مد پول هدر میدهد؛ انتخاب از روی سنجشها همان کار است.
آنچه سنجیدید، در یک جا:
- تنظیم دقیق کامل (200 گام): کد 2.19، انگلیسی 2.26. همهٔ 107,072 وزن را آموزش میدهد؛ یک کپی کامل تازه از مدل برای ذخیره.
- LoRA رتبهٔ 4: کد 2.27، انگلیسی 2.04. 8,192 را آموزش میدهد؛ فقط همانها را ذخیره میکند.
- تقطیر به یک شاگرد با عرض 16 (3000 گام): انگلیسی 1.98 با حدود 1/8 وزنها، در برابر 2.18 با آموزش بهتنهایی.
- کوانتیزه کردن: 8 بیت، یکچهارم اندازه، بدون تغییر؛ 4 بیت، یکهشتم، +0.13.
برای هر موقعیت، روشی را که سنجشها از آن پشتیبانی میکنند انتخاب کنید.
واژهها و نمادهای این درس
- تنظیم دقیق
- ادامهٔ آموزش یک مدل آموزشدیده روی دادهٔ تازه
- LoRA
- سازگاری کمرتبه: یک ماتریس وزن منجمد بهعلاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
- رتبه (r)
- اینکه دو ماتریس LoRA چقدر باریکاند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
- تقطیر
- آموزش یک شاگرد کوچک برای کپی کردن احتمالهای کامل یک معلم بزرگ
- دما (تقطیر)
- تقسیم امتیازها پیش از softmax تا انتخابهای دوم بیشتر حساب شوند
- کوانتیزه کردن
- ذخیرهٔ وزنها با بیتهای کمتر با گرد کردنشان به چند پله
choice را برای هر موقعیت با یکی از "full fine-tune"، "LoRA"، "distillation" یا "quantisation" پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.