एक बड़ा शिक्षक, एक छोटा छात्र (distillation)
यह क्यों मायने रखता है छोटे models चलाने में सस्ते हैं। Distillation (Hinton, Vinyals और Dean, 2015) एक छोटे model को एक बड़े के पूरे जवाब copy करने के लिए train करता है, बस सही जवाब नहीं: "शायद e, हो सकता है a, निश्चित रूप से z नहीं"। वे नरम जवाब अकेले text से ज़्यादा जानकारी हर उदाहरण पर ले जाते हैं।
छात्र: एक 16-चौड़ा GPT (लगभग 8,000 weights)। शिक्षक: 64-चौड़ा GPT। loss दो हिस्से मिलाता है: आधा text के साथ साधारण cross-entropy, आधा शिक्षक की probabilities के साथ cross-entropy, दोनों 2 के एक temperature से नरम किए ताकि शिक्षक की दूसरी पसंदें गिनें।
कोर्स ने छात्र को दोनों तरह से train किया, 3 seeds, और 300, 1000 और 3000 steps पर held-out English loss दर्ज किया।
पहले अनुमान लगाएँ: 300 steps पर, क्या सिखाया छात्र अकेले train किए वाले को हराता है? और 3000 पर?
इस पाठ के शब्द और चिह्न
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
- distillation
- एक छोटे छात्र को एक बड़े शिक्षक की पूरी probabilities copy करना सिखाना
- temperature (distillation)
- softmax से पहले अंकों को भाग देना ताकि दूसरी पसंदें ज़्यादा गिनें
300 और 3000 steps के लिए guess को "taught wins", "alone wins" या "no clear difference" पर सेट करें। फिर gap भरें: 300, 1000 और 3000 steps में से हर एक के लिए, औसत alone घटा औसत taught (धनात्मक का मतलब distillation ने मदद की), और उससे इस नियम से verdict सेट करें: किसी भी ओर 0.03 से कम अंतर no clear difference है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।