एक बेहतर औसत, वही कौशल
यह क्यों मायने रखता है "हमारे model का loss कम है" language modelling का सबसे आम दावा है। loss हर अनुमान पर एक औसत है, और एक औसत उस हिस्से के बिल्कुल सुधरे बिना सुधर सकता है जिसकी आपको परवाह है।
कोर्स ने एक ही तरह train हुए दो GPTs दर्ज किए, 32 और 64 चौड़े। चौड़े वाले का held-out loss कम है। पर अनुमान सब एक जैसे नहीं: शुरू किया एक शब्द पूरा करना ("gradi" फिर "e") आसान है; अगले शब्द का पहला अक्षर चुनना यह चुनना है कि आगे क्या कहना है, और यह कठिन है।
judge.per_position(model, X, Y) हर अनुमान का loss देता है। इसका औसत सारे स्थानों पर, शब्दों के पहले अक्षरों पर, और हर शब्द के बाक़ी पर निकालें।
पहले अनुमान लगाएँ: क्या चौड़ा model अगला शब्द चुनने में बेहतर होता है?
इस पाठ के शब्द और चिह्न
- seed
- वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
my_guess को "yes" या "no" पर सेट करें। चौड़ाई 32 और 64 के लिए loss[width] को 'all', 'first letter' और 'inside word' की एक dict से भरें। gain_from को उस तरह के स्थान ("first letter" या "inside word") पर सेट करें जहाँ से चौड़े model का फ़ायदा आता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।