المنهج الدراسي الدرس 201 من 250 · الضبط الدقيق، من الناحية المفاهيمية
الضبط الدقيق، من الناحية المفاهيمية

تنسيق مجموعة بيانات لضبط التعليمات

لنكن صادقين بشأن ما يمكن لهذا النموذج القيام به وما لا يمكنه القيام به. إن ضبط النموذج بدقة هو مهمة لـ GPU. تأخذ نموذجاً أساسياً، وتعرض عليه آلاف الأزواج من الأمثلة، وتجري gradient descent لتعديل أوزانه. يتطلب ذلك training loop، و GPU، وساعات من الحوسبة. لا يعمل أي من ذلك في بيئة sandbox المتصفح هذه (لا يوجد torch، ولا GPU، ولا شبكة). لذا لن نتظاهر بخلاف ذلك.

ما سنقوم بتعليمه هو الجزء الذي يقضي فيه مهندس الذكاء الاصطناعي معظم وقته، والجزء الذي يحدد ما إذا كانت عملية تشغيل GPU المكلفة ستنتج أي شيء جيد: مجموعة البيانات. أظهرت نتيجة شهيرة في هذا المجال (LIMA, "Less Is More for Alignment") أن حوالي 1,000 مثال مختار بعناية يتفوقون على كومة أكبر بكثير من الأمثلة المشوشة. "مدخلات سيئة، مخرجات سيئة" ليس مجرد شعار هنا، بل هو اللعبة بأكملها. أنت تبني مجموعة البيانات التي تغذي GPU.

سجل ضبط التعليمات

هو مجرد dict صغير. الشكل الشائع هو instruction (ما يطلبه المستخدم)، و input اختياري (سياق إضافي)، و output الذهبي (ما يجب أن يجيب به النموذج الجيد):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

قبل أن يصل أي من هذا إلى المدرب عليك تنظيفه. تحتوي الصادرات الحقيقية على صفوف تفتقر إلى output، و instruction فارغ يحتوي فقط على مسافات، ونوع خاطئ حيث كان من المتوقع وجود string، وتكرارات مطابقة تهدر الحوسبة وتجعل النموذج ينحاز نحو الأمثلة المتكررة. وظيفتك هي filter حتمي.

قم ببناء دالتين.

  • validate_pair(example) -> True فقط عندما يكون example قاموسا ويكون instruction و output كلاهما نصوصا غير فارغة بعد .strip(). أي شيء آخر (مفتاح مفقود، ليس نصا، فارغ أو يحتوي على مسافات فقط) يعيد False. وجود input مفقود أمر مقبول، فهو اختياري.
  • clean_dataset(rows) -> احذف كل زوج غير صالح، ثم احذف التكرارات المطابقة (نفس instruction، نفس input، نفس output بعد الإزالة)، مع الاحتفاظ بالظهور الأول. أعد {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

يُحتسب الصف غير الصالح ضمن dropped_invalid؛ ويُحتسب الصف الصالح لكن المكرر ضمن dropped_duplicate. يجب أن تتطابق الأعداد: input == kept + dropped_invalid + dropped_duplicate.

في خط معالجة حقيقي، سيتم بعد ذلك تقسيم الصفوف المنظفة إلى tokens وبثها إلى مدرب. هذه الخطوة هي مفهوم فقط هنا، ولكن من المفيد معرفة المشهد الذي تغذيه مجموعة البيانات الخاصة بك. التدريب الكامل الدقيق يحدّث كل وزن في النموذج: هو الأكثر دقة، والأكثر تكلفة، وينتج نسخة جديدة تماما من النموذج. LoRA / PEFT (التدريب الدقيق بكفاءة المعلمات) يجمد النموذج الأساسي ويدرب فقط محولات صغيرة منخفضة الرتبة تعمل فوقه، لذا يمكن تشغيل العملية على GPU واحد ويمكنك تبديل المحولات داخل وخارج نموذج أساسي مشترك واحد. وبالإضافة إلى التدريب الدقيق الخاضع للإشراف البسيط، هناك ضبط التفضيلات، والذي يضبط النبرة والسلامة من التفضيلات البشرية بدلا من الإجابات النموذجية: DPO (تحسين التفضيلات المباشر) يتدرب مباشرة على أزواج الإجابات المختارة مقابل المرفوضة وهو بديل أبسط وأكثر استقرارا لحلقة نموذج المكافأة RLHF/PPO القديمة. اضغط Run لتنظيف مجموعة بيانات صغيرة غير منظمة وطباعة الإحصائيات.

دورك

اكتب validate_pair(example) بحيث تعيد True فقط عندما يكون example قاموسا تكون فيه instruction و output كلاهما سلاسل نصية غير فارغة (بعد .strip())؛ وكل شيء آخر يعيد False (يُسمح بـ input مفقود). ثم اكتب clean_dataset(rows) التي تحذف الأزواج غير الصالحة والتكرارات المطابقة (نفس التعليمات/المدخلات/المخرجات بعد إزالة المسافات، مع الاحتفاظ بالأولى)، وتعيد {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.