पाठ्यक्रम 250 में से पाठ 95 · आपके पहले मशीन लर्निंग मॉडल
आपके पहले मशीन लर्निंग मॉडल

Underfitting और overfitting

यह पूरी मशीन लर्निंग का केंद्रीय तनाव है, और अब आपके पास इसे सीधे देखने के औज़ार हैं। एक मॉडल दो उल्टे तरीकों से विफल हो सकता है।

  • Underfitting: मॉडल पैटर्न पकड़ने के लिए बहुत सादा है। यह training डेटा और test डेटा दोनों पर ख़राब करता है। सोचें कि साफ़ तौर पर मुड़ते डेटा पर सीधी रेखा खींचना।
  • Overfitting: मॉडल बहुत जटिल है और training डेटा याद कर लेता है, उसके शोर और अजीब बातों समेत। यह training पर बढ़िया पर test पर ख़राब score लाता है, क्योंकि इसने सामान्य नियम के बजाय ख़ास उदाहरण सीखे।

decision tree की जटिलता max_depth से नियंत्रित होती है, यानी उसे सवालों की कितनी परतों की अनुमति है:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited

depth-1 वाला पेड़ बस एक सवाल पूछ सकता है, इसलिए वह मोटा होने को मजबूर है और underfit करता है। असीमित depth वाला पेड़ training पंक्तियों को अलग करने तक बाँटता रहता है, इसलिए वह training accuracy को पूर्ण 1.0 तक ले जा सकता है जबकि अनदेखी test पंक्तियों पर बुरा करता है।

overfitting की पक्की पहचान एक अंतर है: training accuracy test accuracy से बहुत ऊँची। मॉडल tune करने का पूरा हुनर वह बीच की जटिलता ढूँढना है जो test डेटा पर अच्छा करे, जो गिनने वाला अकेला score है।

आप एक उथला और एक गहरा पेड़ train करेंगे, हर एक की train और test accuracy दर्ज करेंगे, और overfitting का अंतर निकालेंगे ताकि रिश्ता संख्याओं में ही दिख जाए।

आपकी बारी

एक शोर वाला dataset और train/test split पहले से तैयार हैं। training डेटा पर shallow = DecisionTreeClassifier(max_depth=1, random_state=0) और deep = DecisionTreeClassifier(max_depth=None, random_state=0) train करें। चार संख्याएँ दर्ज करें: shallow_train, shallow_test, deep_train, deep_test (हर पेड़ के लिए मेल खाते set पर accuracy)। फिर overfit_gap = deep_train - deep_test सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।