पाठ्यक्रम 246 में से पाठ 230 · Module 22: दावों को परखना
Module 22: दावों को परखना

एक बेहतर औसत, वही कौशल

यह क्यों मायने रखता है "हमारे model का loss कम है" language modelling का सबसे आम दावा है। loss हर अनुमान पर एक औसत है, और एक औसत उस हिस्से के बिल्कुल सुधरे बिना सुधर सकता है जिसकी आपको परवाह है।

कोर्स ने एक ही तरह train हुए दो GPTs दर्ज किए, 32 और 64 चौड़े। चौड़े वाले का held-out loss कम है। पर अनुमान सब एक जैसे नहीं: शुरू किया एक शब्द पूरा करना ("gradi" फिर "e") आसान है; अगले शब्द का पहला अक्षर चुनना यह चुनना है कि आगे क्या कहना है, और यह कठिन है।

judge.per_position(model, X, Y) हर अनुमान का loss देता है। इसका औसत सारे स्थानों पर, शब्दों के पहले अक्षरों पर, और हर शब्द के बाक़ी पर निकालें।

पहले अनुमान लगाएँ: क्या चौड़ा model अगला शब्द चुनने में बेहतर होता है?

इस पाठ के शब्द और चिह्न
seed
वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
आपकी बारी

my_guess को "yes" या "no" पर सेट करें। चौड़ाई 32 और 64 के लिए loss[width] को 'all', 'first letter' और 'inside word' की एक dict से भरें। gain_from को उस तरह के स्थान ("first letter" या "inside word") पर सेट करें जहाँ से चौड़े model का फ़ायदा आता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।