तेज़ बनाना: key-value cache
यह क्यों मायने रखता है Chatbots एक बार में एक token लिखते हैं। भोलेपन से किया, हर नया token अब तक के पूरे text की keys और values फिर निकालता है। key-value cache इसका कारण है कि जवाब जल्दी बहते हैं।
इसे देखें
animation चलाएँ। causal mask के साथ, नए tokens आने पर पहले की स्थितियों की keys और values कभी नहीं बदलतीं। इसलिए उन्हें रखें: हर नए token के लिए बस उसकी अपनी q, k और v निकालें, k और v को cache में जोड़ें, और cache की keys पर q से ध्यान दें।
हर नए token पर काम: भोला तरीका लंबाई t के text के लिए t keys और values निकालता है; cache 1 निकालता है। एक 1,000-token जवाब पर वह 1,000 के मुक़ाबले लगभग 500,000 key गणनाएँ है।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- self-attention
- हर स्थिति उसी text की स्थितियों पर ध्यान देती है
- causal mask
- विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
- key-value cache
- पहले की keys और values रखें ताकि हर नए token की लागत एक step हो
cached_step(x, cache, Wq, Wk, Wv) लिखें: x एक नई row है; उसकी key और value cache["K"] और cache["V"] (सूचियों) में जोड़ें, और सारी cache की स्थितियों पर उसका attention output लौटाएँ। X की rows को एक बार में एक देना causal self-attention ठीक दोहराना चाहिए। keys_naive और keys_cached सेट करें: 1,000 tokens बनाने के लिए हर तरीका कितने key vectors निकालता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।