निश्चित train/val split
dataset साफ़ हो जाने पर आपको उसे बाँटना होगा: ज़्यादातर पंक्तियाँ train में जाती हैं (जिससे मॉडल सीखता है) और एक अलग रखा हिस्सा validation में (जिस पर आप उसे score करते हैं)। अलग रखा set पवित्र है। अगर कोई उदाहरण दोनों हिस्सों में रिस जाए, तो आपकी validation संख्या झूठ है, क्योंकि मॉडल को उस पर टेस्ट किया गया जिस पर उसने train किया। इसलिए split एक साफ़ बँटवारा होना चाहिए: कोई overlap नहीं, कुछ खोया नहीं।
इसे दोहराने लायक भी होना चाहिए। "इसने 0.81 score किया" बेमानी है अगर script दोबारा चलाने पर अलग split बन जाए और 0.79 आए। इलाज वही है जो आप ML में जहाँ भी रैंडमपन आता है वहाँ इस्तेमाल करते हैं: generator को seed दें। एक ही seed हमेशा एक ही split देता है, इसलिए आपका प्रयोग दोहराया जा सकता है और कोई साथी आपकी ठीक-ठीक संख्याएँ दोबारा बना सकता है।
ध्यान दें कि हम पंक्तियों को नहीं, indices को फेंटते हैं, और global generator छूने के बजाय एक निजी generator को साफ़ seed देते हैं:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...random.Random(seed) (एक नया, अलग-थलग generator) इस्तेमाल करें, global module पर random.seed(...) नहीं, ताकि आपका फ़ंक्शन बुलाने से प्रोग्राम में कहीं और का रैंडमपन चुपचाप न बदले।
split_dataset(rows, val_frac, seed) बनाएँ जो {"train": [...], "val": [...]} लौटाए जहाँ:
- validation का आकार
int(round(len(rows) * val_frac))है, और train बाक़ी है; - train और val अलग-अलग हैं और मिलकर हर मूल पंक्ति ठीक एक बार रखते हैं;
- एक ही seed हमेशा एक ही split देता है, और अलग seed आमतौर पर अलग।
यह निश्चित तैयारी वह सब कुछ है जिस पर GPU run निर्भर है। असली training (LoRA adapters, एक optimizer, एक loss curve) ऐसे hardware पर होती है जो इस sandbox में नहीं है। एक सूची बाँटने और पक्का करने के लिए कि दोनों हिस्से मिलकर पूरा बनाते हैं Run दबाएँ।
split_dataset(rows, val_frac, seed) लिखें जो {"train": [...], "val": [...]} लौटाए। indices की एक सूची random.Random(seed) से फेंटें (global RNG से नहीं), पहले int(round(len(rows) * val_frac)) को validation और बाक़ी को train लें। दोनों हिस्से अलग-अलग होने चाहिए, मिलकर हर मूल पंक्ति ठीक एक बार रखने चाहिए, और दिए seed के लिए दोहराने लायक होने चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।