पाठ्यक्रम 246 में से पाठ 131 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

temperature के साथ टेक्स्ट का नमूना लेना

यह क्यों मायने रखता है हर chatbot में एक "temperature" setting है। यह एक भाग है, और यह सुरक्षित, दोहराने वाले टेक्स्ट को विविध, जोखिम भरे टेक्स्ट से बदलता है।

अगला अक्षर चुनने के लिए, एक model अपने अंकों को softmax से प्रायिकताओं में बदलता है। पहले अंकों को एक temperature T से भाग देना बदलता है कि वह वितरण कितना नुकीला है: 1 से नीचे का T इसे तीखा बनाता है (पसंदीदा ज़्यादा अक्सर जीतता है), 1 से ऊपर का T इसे सपाट बनाता है (अचरज संभावित बनते हैं)।

Entropy, p log p का ऋण जोड़, मापती है कि एक वितरण कितना फैला है: 0 जब एक चुनाव पक्का हो, ln(n) जब सारे n बराबर संभावित हों।

आप इसे एक असली दर्ज model पर मापेंगे: अपने पाठ टेक्स्ट पर train हुआ कोर्स का छोटा GPT।

इस पाठ के शब्द और चिह्न
temperature
softmax से पहले अंकों को भाग दें: 1 से नीचे तीखा, 1 से ऊपर सपाट
entropy
एक वितरण कितना फैला है: पक्का होने पर 0, जब सारे n चुनाव बराबर हों तो ln(n)
आपकी बारी

my_order को temperatures 0.5, 1.0 और 2.0 पर सेट करें, सबसे कम से सबसे ऊँची entropy तक sorted (आपका अनुमान)। फिर अंकों की एक row के लिए entropy_at(scores, T) लिखें, और हर temperature के लिए, दिए संदर्भों पर model के अगले-अक्षर वितरण की औसत entropy से measured भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।