नया सीखना, पुराना भूलना
यह क्यों मायने रखता है हर काम का model ढाला जाता है: एक कंपनी के दस्तावेज़ों, एक coding शैली, एक भाषा के लिए। सीधा तरीका, नए data पर train करते रहना, एक ऐसी लागत रखता है जो बहुत देर होने तक कोई नहीं देखता: model जो जानता था उसमें बदतर हो जाता है।
कोर्स के दर्ज GPT ने कोर्स के पाठ text से English सीखी। उसका नया काम: Python code, Python कोर्स के हल किए समाधानों से लिया। training से पहले, यह held-out English पर 1.70 और held-out code पर 3.25 पाता है (इसने मुश्किल से code देखा है)।
हर weight को 8 windows के 60 steps (browser में एक पाठ में जितना समाता है) code पर train करें और दोनों फिर मापें। पहले दृश्य देखें: दोनों losses, step दर step, इस पूरे fine-tune के लिए और उस सस्ते तरीके के लिए जो आप इस module में बनाएँगे।
पहले अनुमान लगाएँ: code पर 60 steps के बाद, क्या English loss लगभग वैसा ही रहेगा, या बढ़ेगा?
my_guess को "same" या "rises" पर सेट करें। adapt.train(model, code_train, steps=60, batch=8) के आस-पास adapt.losses(model) (English loss, code loss) से before और after भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।