سرفصل‌ها درس 215 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

آموزش ترجیح‌ها (DPO)

چرا مهم است مدل‌های گفت‌وگو فقط روی متن آموزش نمی‌بینند؛ روی ترجیح‌ها تنظیم می‌شوند: از دو پاسخ، مردم کدام را بیشتر پسندیدند. DPO (Rafailov و همکاران 2023) این کار را مستقیماً از جفت‌ها، با یک زیان و بدون یک مدل پاداش جداگانه، انجام می‌دهد. زیاده‌روی در آن هم آسان است.

ترجیح اینجا سبکی است که مدل پایه هرگز به کار نمی‌برد: پیوستن واژه‌ها با زیرخط («snake_case talk»). هر جفت یک درخواست 20 نویسه‌ای از متن درس، 10 نویسهٔ بعدی واقعی (ردشده) و همان 10 با هر فاصله‌ای که به‌صورت زیرخط نوشته شده (برگزیده) را دارد.

زیان DPO برای یک جفت مقایسه می‌کند مدل تنظیم‌شده پاسخ برگزیده را چقدر محتمل‌تر از مدل مرجع می‌کند، در برابر همان برای پاسخ ردشده:

فرمول: -log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta تعیین می‌کند مدل تنظیم‌شده چقدر سخت نزدیک مرجع نگه داشته شود. دو سنجه پس از آن: سهم فاصله‌های میان واژه‌ها که روی 60 درخواست تازه به‌صورت زیرخط نوشته شده‌اند (سبک)، و زیان روی انگلیسی کنار گذاشته‌شده که فقط حروف را می‌شمارد، نه فاصله‌ها را (آسیب).

واژه‌ها و نمادهای این درس
LoRA
سازگاری کم‌رتبه: یک ماتریس وزن منجمد به‌علاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
رتبه (r)
اینکه دو ماتریس LoRA چقدر باریک‌اند: (d_in + d_out) x r وزن قابل آموزش برای هر ماتریس
DPO
بهینه‌سازی مستقیم ترجیح: تنظیم از روی جفت‌هایی از یک پاسخ بهتر و یک پاسخ بدتر
مدل مرجع
مدل منجمدی که DPO هر تغییری را در برابر آن می‌سنجد
beta (DPO)
اینکه مدل تنظیم‌شده چقدر سخت نزدیک مرجع نگه داشته می‌شود
نوبت شما

steps را (حداکثر 60) طوری انتخاب کنید که سبک یاد گرفته شود (سهم زیرخط دست‌کم 0.8) در حالی که زیان فقط-حروف زیر 2.6 بماند (مدل پایه حدود 1.94 می‌گیرد). چند مقدار را امتحان کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.