पाठ्यक्रम 246 में से पाठ 208 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

नया सीखना, पुराना भूलना

यह क्यों मायने रखता है हर काम का model ढाला जाता है: एक कंपनी के दस्तावेज़ों, एक coding शैली, एक भाषा के लिए। सीधा तरीका, नए data पर train करते रहना, एक ऐसी लागत रखता है जो बहुत देर होने तक कोई नहीं देखता: model जो जानता था उसमें बदतर हो जाता है।

कोर्स के दर्ज GPT ने कोर्स के पाठ text से English सीखी। उसका नया काम: Python code, Python कोर्स के हल किए समाधानों से लिया। training से पहले, यह held-out English पर 1.70 और held-out code पर 3.25 पाता है (इसने मुश्किल से code देखा है)।

हर weight को 8 windows के 60 steps (browser में एक पाठ में जितना समाता है) code पर train करें और दोनों फिर मापें। पहले दृश्य देखें: दोनों losses, step दर step, इस पूरे fine-tune के लिए और उस सस्ते तरीके के लिए जो आप इस module में बनाएँगे।

पहले अनुमान लगाएँ: code पर 60 steps के बाद, क्या English loss लगभग वैसा ही रहेगा, या बढ़ेगा?

आपकी बारी

my_guess को "same" या "rises" पर सेट करें। adapt.train(model, code_train, steps=60, batch=8) के आस-पास adapt.losses(model) (English loss, code loss) से before और after भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।