المنهج الدراسي الدرس 203 من 250 · الضبط الدقيق، من الناحية المفاهيمية
الضبط الدقيق، من الناحية المفاهيمية

تقسيم محدد للبيانات بين التدريب والتحقق

بمجرد تنظيف مجموعة البيانات الخاصة بك، يجب عليك تقسيمها: تذهب معظم الصفوف إلى train (ما يتعلمه النموذج) وتذهب شريحة محجوزة إلى validation (ما تقيمه عليه). المجموعة المحجوزة مقدسة. إذا تسرب مثال إلى كلا النصفين، فإن رقم التحقق الخاص بك كاذب، لأن النموذج تم اختباره على شيء تدرب عليه. لذا يجب أن يكون التقسيم فصلاً نظيفاً: لا تداخل، ولا شيء مفقود.

يجب أن يكون قابلا لإعادة الإنتاج. عبارة "حصل على 0.81" لا معنى لها إذا أدى إعادة تشغيل script إلى إعادة ترتيب البيانات في split مختلف وأعطى 0.79. الحل هو نفسه الذي تستخدمه في كل مكان يظهر فيه randomness في ML وهو وضع seed للمولد. نفس seed ينتج دائما نفس split، لذا فإن تجربتك قابلة للتكرار ويمكن لزميلك إعادة إنتاج أرقامك بالضبط.

لاحظ أننا نقوم بتبديل indices، وليس الصفوف نفسها، ونمرر seed صريحاً إلى generator خاص بدلاً من لمس الـ global one:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

استخدم random.Random(seed) (مولد جديد ومعزول)، وليس random.seed(...) على الوحدة العامة، حتى لا يؤدي استدعاء وظيفتك إلى تغيير العشوائية بصمت في مكان آخر في البرنامج.

بناء split_dataset(rows, val_frac, seed) الذي يعيد {"train": [...], "val": [...]} حيث:

  • حجم التحقق هو int(round(len(rows) * val_frac))، و train هو الباقي;
  • train و val هما منفصلان ويحتويان معاً على كل صف أصلي مرة واحدة بالضبط؛
  • البذرة نفسها تعطي دائما نفس التقسيم، والبذرة المختلفة تعطي عادة تقسيما مختلفا.

هذا التحضير الحتمي هو كل ما يعتمد عليه تشغيل GPU. التدريب الفعلي (LoRA adapters، وoptimizer، وloss المنحنى) يحدث على أجهزة لا تملكها هذه sandbox. اضغط على Run لتقسيم قائمة والتأكد من أن النصفين يعيدان بناء الكل.

دورك

اكتب split_dataset(rows, val_frac, seed) الذي يعيد {"train": [...], "val": [...]}. قم بخلط قائمة من المؤشرات باستخدام random.Random(seed) (ليس مولد الأرقام العشوائية العام)، خذ أول int(round(len(rows) * val_frac)) كبيانات تحقق والباقي كبيانات تدريب. يجب أن يكون النصفان منفصلين، ويجب أن يحتويا معاً على كل صف أصلي مرة واحدة بالضبط، ويجب أن يكونا قابلين لإعادة الإنتاج لبذرة معينة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.