سرفصل‌ها درس 217 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

دروازه: یک کار تازه با یک بودجه (هوش مصنوعی خاموش)

چرا مهم است کار سازگاری واقعی یک هدف، یک بودجه و چیزی دارد که نباید خرابش کنید. هر سه، با هم، به‌تنهایی.

قواعد دروازه: دستیار هوش مصنوعی خاموش. GPT ثبت‌شده را با حداکثر 60 گام آموزش از هر کدام 8 پنجره با کد پایتون سازگار کنید. هدف‌ها روی یک اجرای تازه (بذر تازه):

  • زیان کد کنار گذاشته‌شده حداکثر 2.43 (پایه 3.25 می‌گیرد)؛
  • زیان انگلیسی کنار گذاشته‌شده حداکثر 2.00 (پایه 1.70 می‌گیرد)؛

plan را تنظیم کنید: روش "full" یا "lora"، رتبه (برای LoRA، 1 تا 64)، گام‌ها و نرخ یادگیری. بررسی برنامهٔ شما را یک بار روی یک بذر تازه آموزش می‌دهد.

واژه‌ها و نمادهای این درس
LoRA
سازگاری کم‌رتبه: یک ماتریس وزن منجمد به‌علاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
رتبه (r)
اینکه دو ماتریس LoRA چقدر باریک‌اند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
نوبت شما

plan را پر کنید.

هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راه‌حل کاملی نیست. فقط فکر خودتان.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.