पाठ्यक्रम 246 में से पाठ 156 · Module 13: Attention और transformers
Module 13: Attention और transformers

तेज़ बनाना: key-value cache

यह क्यों मायने रखता है Chatbots एक बार में एक token लिखते हैं। भोलेपन से किया, हर नया token अब तक के पूरे text की keys और values फिर निकालता है। key-value cache इसका कारण है कि जवाब जल्दी बहते हैं।

इसे देखें

animation चलाएँ। causal mask के साथ, नए tokens आने पर पहले की स्थितियों की keys और values कभी नहीं बदलतीं। इसलिए उन्हें रखें: हर नए token के लिए बस उसकी अपनी q, k और v निकालें, k और v को cache में जोड़ें, और cache की keys पर q से ध्यान दें।

हर नए token पर काम: भोला तरीका लंबाई t के text के लिए t keys और values निकालता है; cache 1 निकालता है। एक 1,000-token जवाब पर वह 1,000 के मुक़ाबले लगभग 500,000 key गणनाएँ है।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
self-attention
हर स्थिति उसी text की स्थितियों पर ध्यान देती है
causal mask
विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
key-value cache
पहले की keys और values रखें ताकि हर नए token की लागत एक step हो
आपकी बारी

cached_step(x, cache, Wq, Wk, Wv) लिखें: x एक नई row है; उसकी key और value cache["K"] और cache["V"] (सूचियों) में जोड़ें, और सारी cache की स्थितियों पर उसका attention output लौटाएँ। X की rows को एक बार में एक देना causal self-attention ठीक दोहराना चाहिए। keys_naive और keys_cached सेट करें: 1,000 tokens बनाने के लिए हर तरीका कितने key vectors निकालता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।