تقسيم محدد للبيانات بين التدريب والتحقق
بمجرد تنظيف مجموعة البيانات الخاصة بك، يجب عليك تقسيمها: تذهب معظم الصفوف إلى train (ما يتعلمه النموذج) وتذهب شريحة محجوزة إلى validation (ما تقيمه عليه). المجموعة المحجوزة مقدسة. إذا تسرب مثال إلى كلا النصفين، فإن رقم التحقق الخاص بك كاذب، لأن النموذج تم اختباره على شيء تدرب عليه. لذا يجب أن يكون التقسيم فصلاً نظيفاً: لا تداخل، ولا شيء مفقود.
يجب أن يكون قابلا لإعادة الإنتاج. عبارة "حصل على 0.81" لا معنى لها إذا أدى إعادة تشغيل script إلى إعادة ترتيب البيانات في split مختلف وأعطى 0.79. الحل هو نفسه الذي تستخدمه في كل مكان يظهر فيه randomness في ML وهو وضع seed للمولد. نفس seed ينتج دائما نفس split، لذا فإن تجربتك قابلة للتكرار ويمكن لزميلك إعادة إنتاج أرقامك بالضبط.
لاحظ أننا نقوم بتبديل indices، وليس الصفوف نفسها، ونمرر seed صريحاً إلى generator خاص بدلاً من لمس الـ global one:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...استخدم random.Random(seed) (مولد جديد ومعزول)، وليس random.seed(...) على الوحدة العامة، حتى لا يؤدي استدعاء وظيفتك إلى تغيير العشوائية بصمت في مكان آخر في البرنامج.
بناء split_dataset(rows, val_frac, seed) الذي يعيد {"train": [...], "val": [...]} حيث:
- حجم التحقق هو
int(round(len(rows) * val_frac))، و train هو الباقي; - train و val هما منفصلان ويحتويان معاً على كل صف أصلي مرة واحدة بالضبط؛
- البذرة نفسها تعطي دائما نفس التقسيم، والبذرة المختلفة تعطي عادة تقسيما مختلفا.
هذا التحضير الحتمي هو كل ما يعتمد عليه تشغيل GPU. التدريب الفعلي (LoRA adapters، وoptimizer، وloss المنحنى) يحدث على أجهزة لا تملكها هذه sandbox. اضغط على Run لتقسيم قائمة والتأكد من أن النصفين يعيدان بناء الكل.
اكتب split_dataset(rows, val_frac, seed) الذي يعيد {"train": [...], "val": [...]}. قم بخلط قائمة من المؤشرات باستخدام random.Random(seed) (ليس مولد الأرقام العشوائية العام)، خذ أول int(round(len(rows) * val_frac)) كبيانات تحقق والباقي كبيانات تدريب. يجب أن يكون النصفان منفصلين، ويجب أن يحتويا معاً على كل صف أصلي مرة واحدة بالضبط، ويجب أن يكونا قابلين لإعادة الإنتاج لبذرة معينة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.