Double descent
यह क्यों मायने रखता है पाठ्य-पुस्तक का नियम "ज़्यादा parameters का मतलब ज़्यादा overfitting" बड़े models के लिए टूटता है। क्यों, यह देखना बदलता है कि आप model आकार के बारे में कैसे सोचते हैं।
इसे देखें
animation चलाएँ। हम 400 उपलब्ध features में से बस पहले p इस्तेमाल करके 40 training बिंदु fit करते हैं, ठीक fits में से सबसे छोटे weights वाला चुनते हुए। जैसे p training बिंदुओं की संख्या (40) की ओर बढ़ता है, test त्रुटि चढ़ती है, धीरे और फिर तेज़ी से, ठीक वहाँ एक शिखर तक जहाँ दोनों बराबर हैं। वहाँ model के पास हर training बिंदु छूने की बस काफ़ी आज़ादी है, और करने का बस एक तरीका, आमतौर पर एक बेतहाशा। शिखर के पार, कई ठीक fits हैं और सबसे-छोटे-weights वाला चुनना एक नरम fit है: test त्रुटि फिर गिरती है, और काफ़ी features के साथ यह छोटे models से नीचे ख़त्म होती है।
Interpolation threshold: वह model आकार जिस पर वह training डेटा को बस ठीक fit कर सकता है। Double descent वहाँ शिखर पर है।
वक्र का अनुमान: सबसे ऊँची test त्रुटि वाले features की संख्या, और क्या p = 400 p = 5 को हराता है, अनुमान लगाएँ।
संख्याएँ ईमानदारी से पढ़ें
यह खिलौना वक्र का आकार दिखाने के लिए बना है, अच्छा अनुमान लगाने के लिए नहीं। इसका signal सारे 400 features पर पतला फैला है और बस 40 training बिंदु हैं, इसलिए यहाँ हर model ख़राब है: हर चीज़ के लिए 0 का अनुमान लगभग 1.01 की median test त्रुटि पाता है, p = 5 लगभग 1.11 और p = 400 लगभग 0.91। p = 40 पर शिखर लगभग 36 है। दूसरा उतार असली है, पर यह बस "कुछ अनुमान न लगाओ" से थोड़ा नीचे आता है।
शिखर का एक इलाज भी है जो आप पहले से जानते हैं। सबसे-छोटे-weights ठीक fit के बजाय validation डेटा पर चुनी ताक़त के साथ weight decay (ridge) हर आकार पर त्रुटि को 1.0 के पास रखता है, p = 40 समेत (लगभग 1.02)। Double descent वह है जो ठीक fits के साथ होता है; एक tune किया regulariser उछाल हटाता है।
इस पाठ के शब्द और चिह्न
- overfitting, underfitting
- training डेटा का शोर fit करना; या pattern fit करने के लिए बहुत सादा
- ridge (alpha)
- alpha ताक़त के weight decay के साथ least squares
- interpolation threshold
- वह model आकार जो training डेटा को बस ठीक fit कर सकता है
my_peak और my_400_beats_5 भरें। फिर test_error(p) लिखें: seeds 0 से 19 के लिए, np.linalg.pinv(X[:, :p]) @ y से fit करें, test mean squared error मापें, और seeds पर median लौटाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।