توجه خودتناسب از صفر
شما یک نورون و یک گذر رو به جلو ساختهاید. اکنون ایدهای را خواهید ساخت که شبکههای عصبی ساده را به تبدیلکنندهها و از آنجا، به مدلهای زبانی بزرگ (LLM) پشت هر دستیار چت: توجه خودتوجهایاین چند ضرب ماتریسی است و میتوانید کل کار را در numpy انجام دهید.
شهود
تصور کنید هر کلمه در یک جمله میخواهد از سایر کلمات اطلاعات جمعآوری کند. توجه خودمحور به هر موقعیت سه بردار میدهد:
- A پرسوجو (س): این موقعیت به دنبال چه چیزی است.
- A کلید (K): آنچه هر موقعیت ارائه میدهد، برای تطبیق استفاده میشود.
- A ارزش (V): اطلاعات واقعی که هر موقعیت حمل میکند.
یک موقعیت پرسوجوی خود را با هر کلید مقایسه میکند تا تصمیم بگیرد چقدر به موقعیتهای دیگر گوش دهد، سپس یک مخلوط وزنی مقادیر با استفاده از آن مقادیر. تطابق قوی → وزن بزرگ → آن مقدار سهم بیشتری دارد. این کل مکانیزم است: پرسوجوها به کلیدها توجه میکنند و پاسخ ترکیبی وزنی از مقادیر است.
ریاضیات: توجه نقطهای مقیاسشده
امتیاز تطبیق بین یک پرسوجو و یک کلید، امتیاز آنهاست. محصول نقطهای (وقتی در یک جهت اشاره میکنند، بزرگتر). تمام پرسوجوها را در یک ماتریس انباشته کنید. Q و همه کلیدها را به K، و هر نمرهای در یکجا است Q @ K.T. ما تقسیم میکنیم به sqrt(d_k) (بعد کلیدی) تا نمرات با بلندتر شدن بردارها از حد خارج نشوند:
scores = Q @ K.T / np.sqrt(d_k)اصلاً چرا تقسیم کنیم؟ حاصل ضرب نقطهای با افزایش بعد افزایش مییابد. اگر d_k ۶۴ است و ورودیها در حدود ۱ هستند، نمرههای خام نزدیک ۶۴ قرار میگیرند، و اعداد اینچنین بزرگی softmax را روی یک کلید واحد متمرکز کرده و شیب را صاف میکنند. تقسیم بر sqrt(d_k)، اینجا sqrt(64) = 8، نمرات را به محدودهای معقول بازمیگرداند تا توجه بهطور روان و قابل آموزش باقی بماند. در کوچک d_k = 1 برای مثال، آنچه در زیر تقسیمکننده اجرا میکنید فقط 1، بنابراین شما نخواهید دید که آن گاز میزند، اما در اندازههای واقعی مدل ضروری است.
هر یک ردیف از scores امتیاز یک پرسوجو را در برابر هر کلید نگه میدارد. ما هر سطر را به وزنهایی تبدیل میکنیم که مثبت هستند و مجموع آنها برابر با ۱ است با سوفتمکس بر روی محور آخر:
weights = softmax(scores, axis=-1) # each row sums to 1سوفتمکس به توان میرساند و نرمال میکند. اگر بهطور سادهلوحانه انجام شود، np.exp از یک امتیاز بزرگ سرریز میشود به inf و وزنها به صورت زیر به دست میآیند nan. رفع مشکل استاندارد است از نظر عددی پایدار ترفند: قبل از تواندادن، حداکثر هر سطر را کم کنید. این کار از نظر ریاضی نتیجهای را تغییر نمیدهد (همان ثابت در مخرج و صورت یکدیگر را خنثی میکنند)، اما باعث میشود همهٔ توانها ≤ ۰ باشند:
def softmax(x):
x = x - x.max(axis=-1, keepdims=True) # stability: largest exponent is now 0
e = np.exp(x)
return e / e.sum(axis=-1, keepdims=True)در نهایت، خروجی هر پرسوجو، وزنهای آن است که بر مقادیر اعمال میشود، که این خود یک ضرب ماتریسی دیگر است:
output = weights @ Vدر مجموع، فرمول معروف فقط همین است. softmax(Q @ K.T / sqrt(d_k)) @ V. اگر Q است (n, d_k), K است (m, d_k)و V است (m, d_v)، سپس weights است (n, m) و output است (n, d_v): یک بردار خروجی برای هر پرسوجو، که هر کدام ترکیبی از سطرهای دارای مقدار هستند.
این کل ترفند ترانسفورماتور است
یک ترانسفورماتور واقعی به یک محاسبه توجه محدود نمیشود. توجه چندگانه چند نمونه از این را بهطور موازی اجرا میکند (هر هد پروجکشنهای Q، K و V خود را یاد میگیرد، بنابراین هِدهای مختلف به چیزهای متفاوتی توجه میکنند) و نتایج را به هم متصل میکند. یک ترانسفورمر مسدود کردن سپس با یک شبکه فیدفوروارد کوچک و یک اتصال باقیمانده، توجه را انباشته میکند و یک مدل دهها از این بلوکها را روی هم میچیند. اما قلب تپندهٔ هر یک از آنها دقیقاً همان تابعی است که قرار است بنویسید: نمرات، نرمماکس پایدار، جمع وزنی مقادیر. این را بسازید تا عملیات اصلی را که یک مدل زبان بزرگ (LLM) هنگام «توجه» به ورودی تکرار میکند، درک کنید.
یک هشدار صادقانه: در اینجا Q، K و V به شما بهعنوان آرایههای ثابت ارائه شدهاند. در یک مدل واقعی آنها داده نمیشوند، بلکه تولید شده با ضرب کردن امبدینگ هر توکن در سه ماتریس وزن آموختهشده، W_q, W_k و W_vآن ماتریسها و ماتریسهای هر بلوک دقیقاً همان چیزی هستند که با استفاده از شیبنزولی از درس قبلی تنظیم میشوند. پس آنچه اینجا میسازید هسته ثابت توجه است که در هر ترانسفورمر یکسان است؛ یادگیری در پروجکشنهایی که آن را تغذیه میکنند رخ میدهد.
رسانه دویدن برای اینکه ببینید چگونه توجه، یک Q/K/V کوچک را به خروجی تبدیل میکند و ماتریس وزن را چاپ میکند تا بتوانید بفهمید چه کسی به چه کسی توجه کرده است.
پیادهسازی توجه حاصلضرب نقطهای مقیاسشده در numpy. بنویسید attention(Q, K, V) که یک تپل بازمیگرداند (output, weights). محاسبه scores = Q @ K.T / np.sqrt(d_k) که d_k بعد آخر از Q؛ اعمال یک سفتماکس عددی پایدار بر روی محور آخر (کسر حداکثر هر سطر قبل از np.exp) تا به دست آید weights که سطرهای آن جمعاً برابر با ۱ است؛ سپس output = weights @ V. بازگردانید output اول، سپس weights ماتریس. سپس تنظیم کنید out, w = attention(Q, K, V) برای آرایههای ارائهشده.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.