पाठ्यक्रम 246 में से पाठ 232 · Module 22: दावों को परखना
Module 22: दावों को परखना

एक seed एक क़िस्सा है

यह क्यों मायने रखता है एक ही model को अलग बेतरतीब seeds के साथ दो बार train करना अलग नतीजे देता है। दो models के बीच उस फैलाव से छोटा अंतर एक नतीजा नहीं, और एक अकेला run आपको नहीं बता सकता कि फैलाव कितना बड़ा है।

एक दावा: "8,000 tokens पर, चौड़ाई 1024 चौड़ाई 512 को हराती है", हर एक के एक run से समर्थित (seed 0: 2.799 के मुक़ाबले 2.793)। कोर्स ने हर एक के 3 seeds दर्ज किए।

हर एक के कुछ seeds के साथ "A B को हराता है" का एक सादा नियम: औसतों का अंतर लें, और उसकी standard error (अगर आप seeds फिर चलाएँ तो वह अंतर कितना हिलेगा), नमूना variance (ddof=1) के साथ sqrt(var(A) / nA + var(B) / nB)। इसे दिखाया कहें जब अंतर 2 standard errors से ज़्यादा हो। judge.standard_error(a, b) इसे निकालता है।

पहले अनुमान लगाएँ: तीन seeds के साथ, क्या 8,000 tokens पर चौड़ाई 1024 फिर भी 512 को हराती है?

इस पाठ के शब्द और चिह्न
seed
वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
standard error
अगर seeds फिर चलाए जाएँ तो एक मापा अंतर कितना हिलेगा
आपकी बारी

my_guess को "yes" या "no" पर सेट करें। 8,000 और 1,500,000 tokens के लिए, diff[tokens] (चौड़ाई 512 का औसत loss घटा चौड़ाई 1024 का औसत loss: धनात्मक का मतलब 1024 बेहतर है) और two_se[tokens] भरें। verdict[tokens] को "shown" या "not shown" पर सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।