گردآوری یک مجموعه دادهٔ تنظیم دستورالعمل
بیایید صادق باشیم دربارهٔ آنچه این ماژول میتواند و نمیتواند انجام دهد. ریزتنظیم یک مدل کار GPU است. شما یک مدل پایه را میگیرید، هزاران جفت مثال را به آن نشان میدهید و با استفاده از شیبنزولی وزنهای آن را جابهجا میکنید. این کار نیازمند یک حلقهٔ آموزشی، یک GPU و ساعتها محاسبات است. هیچیک از این موارد در این محیط ایزولهٔ مرورگر اجرا نمیشود (نه torch وجود دارد، نه GPU، نه شبکه). بنابراین ما وانمود نخواهیم کرد که خلاف این است.
آن چیزی که ما آموزش خواهیم داد، بخشی است که یک مهندس هوش مصنوعی در واقع بیشتر وقت خود را صرف آن میکند و بخشی است که تعیین میکند آیا اجرای پرهزینه روی GPU چیزی مفید تولید میکند یا خیر: مجموعه دادهها . یک نتیجه مشهور در این حوزه (LIMA، «کمتر برای همراستایی بیشتر است») نشان داد که حدود ۱۰۰۰ مثال با دقت گردآوریشده، از تودهای بسیار بزرگتر از نمونههای نویزدار بهتر عمل میکند. «خروجی آشغال، ورودی آشغال» در اینجا یک شعار نیست، بلکه کل بازی است. شما دادهست را میسازید که به GPU خوراک میدهد.
یک رکورد تنظیم دستورالعمل (instruction-tuning) فقط یک dict کوچک است. شکل رایج آن شامل یک instruction (آنچه کاربر میپرسد)، یک input اختیاری (زمینه اضافی)، و output طلایی (آنچه یک مدل خوب باید پاسخ دهد) است:
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}قبل از اینکه هیچکدام از اینها به یک trainer برسد، باید آن را تمیز کنید. خروجیهای واقعی پر از سطرهایی هستند که output ندارند، instruction خالی که فقط فضای خالی است، نوع اشتباه در جایی که انتظار رشته میرفت، و کپیهای دقیق که محاسبات را هدر میدهند و مدل را به سمت نمونههای تکراری متمایل میکنند. وظیفه شما یک فیلتر تعیینکننده (deterministic) است.
دو تابع بسازید.
-
validate_pair(example)True->exampleفقط زمانی کهinstructionیک دیکشنری باشد کهoutputو.strip()هر دو رشتههایی غیرخالی پس ازFalseباشند. هر چیز دیگری (کلید مفقود، غیررشته، خالی یا فقط فضای خالی)inputرا برمیگرداند. مفقود اشکالی ندارد، اختیاری است. -
clean_dataset(rows)-> هر جفت نامعتبر را حذف کنید، سپس کپیهای دقیق (همانinstruction، همانinput، همانoutputپس از حذف) را حذف کرده و اولین مورد را نگه دارید.{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}را بازگردانید.
یک سطر نامعتبر به عنوان dropped_invalid شمرده میشود؛ یک سطر معتبر اما تکراری به عنوان dropped_duplicate شمرده میشود. شمارشها باید با هم مطابقت داشته باشند: input == kept + dropped_invalid + dropped_duplicate.
در یک خط لوله واقعی، سطرهای پاکشده سپس توکنسازی شده و به یک مدل آموزشدهنده ارسال میشوند. این مرحله در اینجا صرفاً مفهومی است، اما دانستن چشماندازی که مجموعه دادههای شما به آن وارد میشود ارزشمند است. آموزش دقیق کامل تمام وزنهای مدل را بهروزرسانی میکند: دقیقترین، پرهزینهترین، و یک نسخه کاملاً جدید از مدل تولید میکند. LoRA / PEFT (تنظیم دقیق پارامتریک کارآمد) مدل پایه را منجمد میکند و تنها ادپترهای کوچک کمرتبه را که روی آن سوار میشوند آموزش میدهد، بنابراین اجرای آن روی یک GPU جا میگیرد و میتوانید ادپترها را در یک مدل پایه مشترک جابجا کنید. و فراتر از فاینتیونینگ تحت نظارت ساده، تنظیم ترجیحی مبتنی بر بازخورد انسانی (preference tuning) وجود دارد که لحن و ایمنی را بر اساس ترجیحات انسانی به جای پاسخهای استاندارد، همسو میکند: DPO (DPO) (بهینهسازی مستقیم ترجیح) مستقیماً روی جفتهای پاسخهای انتخابشده در مقابل ردشده آموزش میبیند و جایگزینی سادهتر و پایدارتر برای حلقه مدل پاداش قدیمیتر RLHF/PPO است. روی «Run» کلیک کنید تا یک مجموعه داده کوچک و نامنظم را تمیز کرده و آمار آن را چاپ کند.
نوشتن validate_pair(example) در حال بازگشت True فقط وقتی example یک دیکتی است که instruction و output هر دو خالی نباشند (پس از .strip()) رشتهها؛ در غیر این صورت، مقدار بازگشتی False (یک missing input مجاز است). سپس بنویسید clean_dataset(rows) که جفتهای نامعتبر و تکرارهای دقیق (دستور/ورودی/خروجی یکسان پس از حذف پیشوندها، با نگهداشتن اولین مورد) را حذف میکند و مقدار زیر را بازمیگرداند: {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.