पाठ्यक्रम 246 में से पाठ 213 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

एक बड़ा शिक्षक, एक छोटा छात्र (distillation)

यह क्यों मायने रखता है छोटे models चलाने में सस्ते हैं। Distillation (Hinton, Vinyals और Dean, 2015) एक छोटे model को एक बड़े के पूरे जवाब copy करने के लिए train करता है, बस सही जवाब नहीं: "शायद e, हो सकता है a, निश्चित रूप से z नहीं"। वे नरम जवाब अकेले text से ज़्यादा जानकारी हर उदाहरण पर ले जाते हैं।

छात्र: एक 16-चौड़ा GPT (लगभग 8,000 weights)। शिक्षक: 64-चौड़ा GPT। loss दो हिस्से मिलाता है: आधा text के साथ साधारण cross-entropy, आधा शिक्षक की probabilities के साथ cross-entropy, दोनों 2 के एक temperature से नरम किए ताकि शिक्षक की दूसरी पसंदें गिनें।

कोर्स ने छात्र को दोनों तरह से train किया, 3 seeds, और 300, 1000 और 3000 steps पर held-out English loss दर्ज किया।

पहले अनुमान लगाएँ: 300 steps पर, क्या सिखाया छात्र अकेले train किए वाले को हराता है? और 3000 पर?

इस पाठ के शब्द और चिह्न
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
distillation
एक छोटे छात्र को एक बड़े शिक्षक की पूरी probabilities copy करना सिखाना
temperature (distillation)
softmax से पहले अंकों को भाग देना ताकि दूसरी पसंदें ज़्यादा गिनें
आपकी बारी

300 और 3000 steps के लिए guess को "taught wins", "alone wins" या "no clear difference" पर सेट करें। फिर gap भरें: 300, 1000 और 3000 steps में से हर एक के लिए, औसत alone घटा औसत taught (धनात्मक का मतलब distillation ने मदद की), और उससे इस नियम से verdict सेट करें: किसी भी ओर 0.03 से कम अंतर no clear difference है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।