Bias और variance, और एक prior के रूप में weight decay
यह क्यों मायने रखता है Overfitting एक अंतर के रूप में दिखता है: training त्रुटि नए डेटा की त्रुटि से बहुत नीचे। हर ऐसे अंतर के पीछे दो मापने लायक कारण बैठते हैं, और उन्हें अलग इलाज चाहिए।
उसी स्रोत से पाँच ताज़ा training sets निकालें और हर एक पर एक ही तरह का model fit करें। एक बिंदु पर पाँच अनुमान देखें:
- अगर वे सब सहमत हैं पर सब एक ही तरह ग़लत हैं: ऊँचा bias (बहुत सादा)।
- अगर वे एक-दूसरे से बेतहाशा असहमत हैं: ऊँचा variance (बहुत लचीला, हर set के शोर का पीछा करता)।
Variance यह है कि training डेटा बदलने पर model कितना बदलता है। ऊँचा variance overfitting का आम कारण है, पर दोनों शब्द एक चीज़ नहीं: overfitting वह अंतर है जो आप देखते हैं, variance उसके पीछे की एक चीज़ है जिसे आप माप सकते हैं।
एक prior के रूप में weight decay
Weight decay loss में alpha * (sum of weights squared) जोड़ता है। प्रायिकता के शब्दों में यह डेटा देखने से पहले कहता है, "मुझे विश्वास है कि छोटे weights ज़्यादा संभावित हैं"। वह विश्वास बेतहाशा fits को शांत वालों की ओर खींचता है और variance घटाता है, थोड़े bias की क़ीमत पर। polynomial fitting के लिए इसका ridge regression नाम का एक ठीक हल है: w = solve(A.T A + alpha I, A.T y), जहाँ A में x की घातें हैं।
Prior: डेटा देखने से पहले आप weights के बारे में क्या मानते हैं। Weight decay एक prior है जो छोटे weights को तरजीह देता है।
इस पाठ के शब्द और चिह्न
- overfitting, underfitting
- training डेटा का शोर fit करना; या pattern fit करने के लिए बहुत सादा
- bias, variance
- हर बार एक ही तरह ग़लत होना; या training डेटा के साथ बहुत बदलना
- prior
- डेटा देखने से पहले आप weights के बारे में क्या मानते हैं
- ridge (alpha)
- alpha ताक़त के weight decay के साथ least squares
coefficients लौटाने वाला ridge_poly(x, y, deg, alpha) लिखें (सबसे कम घात पहले, ऊपर का सूत्र इस्तेमाल करते हुए), और spread_at_half(deg, alpha): पाँच training sets fit करें (seeds 0 से 4, हर एक 20 बिंदु, make_set से बने) और x = 0.5 पर पाँच अनुमानों का standard deviation लौटाएँ। फिर high_variance को degrees 1, 3 या 12 (alpha 0) में से उस पर सेट करें जिसका फैलाव सबसे बड़ा है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।