سرفصل‌ها درس 213 از 246 · ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده
ماژول 20: سازگار کردن ارزان یک مدل آموزش‌دیده

یک معلم بزرگ، یک شاگرد کوچک (تقطیر)

چرا مهم است اجرای مدل‌های کوچک ارزان است. تقطیر (Hinton، Vinyals و Dean، 2015) یک مدل کوچک را آموزش می‌دهد تا پاسخ‌های کامل یک مدل بزرگ را کپی کند، نه فقط پاسخ درست را: «احتمالاً e، شاید a، قطعاً نه z». آن پاسخ‌های نرم در هر نمونه اطلاعات بیشتری از خود متن دارند.

شاگرد: یک GPT با عرض 16 (حدود 8,000 وزن). معلم: GPT با عرض 64. زیان دو بخش را می‌آمیزد: نیمی آنتروپی متقاطع معمولی با متن، نیمی آنتروپی متقاطع با احتمال‌های معلم، هر دو با دمای 2 نرم‌شده تا انتخاب‌های دوم معلم حساب شوند.

دوره شاگرد را به هر دو روش، با 3 بذر، آموزش داد و زیان انگلیسی کنار گذاشته‌شده را در 300، 1000 و 3000 گام ثبت کرد.

اول پیش‌بینی کنید: در 300 گام، آیا شاگرد آموزش‌دیده توسط معلم از آنکه تنها آموزش دیده بهتر است؟ و در 3000؟

واژه‌ها و نمادهای این درس
LoRA
سازگاری کم‌رتبه: یک ماتریس وزن منجمد به‌علاوهٔ دو ماتریس باریک قابل آموزش، x W + (alpha / r) x A B
تقطیر
آموزش یک شاگرد کوچک برای کپی کردن احتمال‌های کامل یک معلم بزرگ
دما (تقطیر)
تقسیم امتیازها پیش از softmax تا انتخاب‌های دوم بیشتر حساب شوند
نوبت شما

guess را برای 300 و 3000 گام برابر "taught wins"، "alone wins" یا "no clear difference" قرار دهید. سپس gap را پر کنید: برای هر یک از 300، 1000 و 3000 گام، میانگین alone منهای میانگین taught (مثبت یعنی تقطیر کمک کرد)، و verdict را از روی آن با این قاعده تنظیم کنید: فاصله‌ای زیر 0.03 در هر دو سو یعنی no clear difference.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.