تولید سریع: حافظهٔ نهان کلید-مقدار
چرا مهم است چتباتها هر بار یک توکن مینویسند. اگر سادهلوحانه انجام شود، هر توکن تازه کلیدها و مقدارهای کل متن تا اینجا را دوباره محاسبه میکند. حافظهٔ نهان کلید-مقدار دلیل جاری شدن سریع پاسخهاست.
آن را ببینید
پویانمایی را پخش کنید. با ماسک علّی، کلیدها و مقدارهای جایگاههای پیشین با رسیدن توکنهای تازه هرگز تغییر نمیکنند. پس نگهشان دارید: برای هر توکن تازه فقط q، k و v خودش را محاسبه کنید، k و v را به حافظهٔ نهان اضافه کنید و با q روی کلیدهای ذخیرهشده توجه کنید.
کار برای هر توکن تازه: روش سادهلوحانه برای متنی به طول t، t کلید و مقدار محاسبه میکند؛ حافظهٔ نهان 1. در یک پاسخ 1,000 توکنی این حدود 500,000 محاسبهٔ کلید در برابر 1,000 است.
واژهها و نمادهای این درس
- پرسوجو، کلید، مقدار
- آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه میکند؛ آنچه تحویل میدهد
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
- خودتوجهی
- هر جایگاه به جایگاههای همان متن توجه میکند
- ماسک علّی
- امتیازهای بالای قطر برابر منفی بینهایت: هیچ جایگاهی آینده را نمیبیند
- حافظهٔ نهان کلید-مقدار
- کلیدها و مقدارهای پیشین را نگه دارید تا هر توکن تازه یک گام هزینه داشته باشد
cached_step(x, cache, Wq, Wk, Wv) را بنویسید: x یک ردیف تازه است؛ کلید و مقدارش را به cache["K"] و cache["V"] (فهرستها) اضافه کنید و خروجی توجهش روی همهٔ جایگاههای ذخیرهشده را برگردانید. خوراندن ردیفهای X هر بار یکی باید خودتوجهی علّی را دقیقاً بازتولید کند. keys_naive و keys_cached را تنظیم کنید: هر روش برای تولید 1,000 توکن چند بردار کلید محاسبه میکند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.