temperature के साथ टेक्स्ट का नमूना लेना
यह क्यों मायने रखता है हर chatbot में एक "temperature" setting है। यह एक भाग है, और यह सुरक्षित, दोहराने वाले टेक्स्ट को विविध, जोखिम भरे टेक्स्ट से बदलता है।
अगला अक्षर चुनने के लिए, एक model अपने अंकों को softmax से प्रायिकताओं में बदलता है। पहले अंकों को एक temperature T से भाग देना बदलता है कि वह वितरण कितना नुकीला है: 1 से नीचे का T इसे तीखा बनाता है (पसंदीदा ज़्यादा अक्सर जीतता है), 1 से ऊपर का T इसे सपाट बनाता है (अचरज संभावित बनते हैं)।
Entropy, p log p का ऋण जोड़, मापती है कि एक वितरण कितना फैला है: 0 जब एक चुनाव पक्का हो, ln(n) जब सारे n बराबर संभावित हों।
आप इसे एक असली दर्ज model पर मापेंगे: अपने पाठ टेक्स्ट पर train हुआ कोर्स का छोटा GPT।
इस पाठ के शब्द और चिह्न
- temperature
- softmax से पहले अंकों को भाग दें: 1 से नीचे तीखा, 1 से ऊपर सपाट
- entropy
- एक वितरण कितना फैला है: पक्का होने पर 0, जब सारे n चुनाव बराबर हों तो ln(n)
my_order को temperatures 0.5, 1.0 और 2.0 पर सेट करें, सबसे कम से सबसे ऊँची entropy तक sorted (आपका अनुमान)। फिर अंकों की एक row के लिए entropy_at(scores, T) लिखें, और हर temperature के लिए, दिए संदर्भों पर model के अगले-अक्षर वितरण की औसत entropy से measured भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।