पाठ्यक्रम 246 में से पाठ 87 · Module 7: नए डेटा पर काम
Module 7: नए डेटा पर काम

Bias और variance, और एक prior के रूप में weight decay

यह क्यों मायने रखता है Overfitting एक अंतर के रूप में दिखता है: training त्रुटि नए डेटा की त्रुटि से बहुत नीचे। हर ऐसे अंतर के पीछे दो मापने लायक कारण बैठते हैं, और उन्हें अलग इलाज चाहिए।

उसी स्रोत से पाँच ताज़ा training sets निकालें और हर एक पर एक ही तरह का model fit करें। एक बिंदु पर पाँच अनुमान देखें:

  • अगर वे सब सहमत हैं पर सब एक ही तरह ग़लत हैं: ऊँचा bias (बहुत सादा)।
  • अगर वे एक-दूसरे से बेतहाशा असहमत हैं: ऊँचा variance (बहुत लचीला, हर set के शोर का पीछा करता)।

Variance यह है कि training डेटा बदलने पर model कितना बदलता है। ऊँचा variance overfitting का आम कारण है, पर दोनों शब्द एक चीज़ नहीं: overfitting वह अंतर है जो आप देखते हैं, variance उसके पीछे की एक चीज़ है जिसे आप माप सकते हैं।

एक prior के रूप में weight decay

Weight decay loss में alpha * (sum of weights squared) जोड़ता है। प्रायिकता के शब्दों में यह डेटा देखने से पहले कहता है, "मुझे विश्वास है कि छोटे weights ज़्यादा संभावित हैं"। वह विश्वास बेतहाशा fits को शांत वालों की ओर खींचता है और variance घटाता है, थोड़े bias की क़ीमत पर। polynomial fitting के लिए इसका ridge regression नाम का एक ठीक हल है: w = solve(A.T A + alpha I, A.T y), जहाँ A में x की घातें हैं।

Prior: डेटा देखने से पहले आप weights के बारे में क्या मानते हैं। Weight decay एक prior है जो छोटे weights को तरजीह देता है।

इस पाठ के शब्द और चिह्न
overfitting, underfitting
training डेटा का शोर fit करना; या pattern fit करने के लिए बहुत सादा
bias, variance
हर बार एक ही तरह ग़लत होना; या training डेटा के साथ बहुत बदलना
prior
डेटा देखने से पहले आप weights के बारे में क्या मानते हैं
ridge (alpha)
alpha ताक़त के weight decay के साथ least squares
आपकी बारी

coefficients लौटाने वाला ridge_poly(x, y, deg, alpha) लिखें (सबसे कम घात पहले, ऊपर का सूत्र इस्तेमाल करते हुए), और spread_at_half(deg, alpha): पाँच training sets fit करें (seeds 0 से 4, हर एक 20 बिंदु, make_set से बने) और x = 0.5 पर पाँच अनुमानों का standard deviation लौटाएँ। फिर high_variance को degrees 1, 3 या 12 (alpha 0) में से उस पर सेट करें जिसका फैलाव सबसे बड़ा है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।