سرفصل‌ها درس 156 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

تولید سریع: حافظهٔ نهان کلید-مقدار

چرا مهم است چت‌بات‌ها هر بار یک توکن می‌نویسند. اگر ساده‌لوحانه انجام شود، هر توکن تازه کلیدها و مقدارهای کل متن تا اینجا را دوباره محاسبه می‌کند. حافظهٔ نهان کلید-مقدار دلیل جاری شدن سریع پاسخ‌هاست.

آن را ببینید

پویانمایی را پخش کنید. با ماسک علّی، کلیدها و مقدارهای جایگاه‌های پیشین با رسیدن توکن‌های تازه هرگز تغییر نمی‌کنند. پس نگهشان دارید: برای هر توکن تازه فقط q، k و v خودش را محاسبه کنید، k و v را به حافظهٔ نهان اضافه کنید و با q روی کلیدهای ذخیره‌شده توجه کنید.

کار برای هر توکن تازه: روش ساده‌لوحانه برای متنی به طول t، t کلید و مقدار محاسبه می‌کند؛ حافظهٔ نهان 1. در یک پاسخ 1,000 توکنی این حدود 500,000 محاسبهٔ کلید در برابر 1,000 است.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
خودتوجهی
هر جایگاه به جایگاه‌های همان متن توجه می‌کند
ماسک علّی
امتیازهای بالای قطر برابر منفی بی‌نهایت: هیچ جایگاهی آینده را نمی‌بیند
حافظهٔ نهان کلید-مقدار
کلیدها و مقدارهای پیشین را نگه دارید تا هر توکن تازه یک گام هزینه داشته باشد
نوبت شما

cached_step(x, cache, Wq, Wk, Wv) را بنویسید: x یک ردیف تازه است؛ کلید و مقدارش را به cache["K"] و cache["V"] (فهرست‌ها) اضافه کنید و خروجی توجهش روی همهٔ جایگاه‌های ذخیره‌شده را برگردانید. خوراندن ردیف‌های X هر بار یکی باید خودتوجهی علّی را دقیقاً بازتولید کند. keys_naive و keys_cached را تنظیم کنید: هر روش برای تولید 1,000 توکن چند بردار کلید محاسبه می‌کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.