سرفصل‌ها درس 142 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

چرا بر ریشهٔ دوم d تقسیم کنیم

چرا مهم است هر ترنسفورمر امتیازهای توجهش را بر ریشهٔ دوم اندازهٔ کلید تقسیم می‌کند. حذفش کنید و توجه دیگر نمی‌آمیزد و گرادیان‌هایش تقریباً محو می‌شوند. چرایی‌اش را می‌سنجید.

یک ضرب داخلی دو بردار تصادفی به طول d، d حاصل‌ضرب را جمع می‌زند. هر کدام پراکندگی حدود 1 دارد، پس جمع پراکندگی حدود ریشهٔ دوم d دارد. دلیلش: وقتی اعداد تصادفی مستقل را جمع می‌زنید، پراکندگی‌هایشان جمع نمی‌شوند، مربع‌هایشان جمع می‌شوند (مربع‌ها واریانس نام دارند). d حاصل‌ضرب، هر کدام با واریانس 1، واریانس d می‌دهند، پس پراکندگی ریشهٔ دوم d است. برای d = 64 این 8 است.

امتیازهایی که در مثبت و منفی 8 یا بیشتر پخش شده‌اند softmax را تقریباً one-hot می‌کنند: یک وزن نزدیک 1، بقیه نزدیک 0. یک softmax یک‌داغ گرادیان‌های ریزی دارد: شیب هر خروجی نسبت به امتیاز خودش p(1 - p) است، که وقتی p نزدیک 0 یا 1 است نزدیک 0 است (درس گرادیان softmax ماژول 2 آن را به دست می‌آورد و درس رو به عقب از طریق توجه این ماژول از آن استفاده می‌کند)، پس مدل آهسته یاد می‌گیرد. تقسیم بر ریشهٔ دوم d پراکندگی را، هر چه d باشد، به حدود 1 برمی‌گرداند.

پیش‌بینی کنید: وقتی d از 4 تا 256 رشد می‌کند، با و بدون تقسیم چه بر سر بزرگ‌ترین وزن می‌آید؟

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
نوبت شما

my_guess را پر کنید. سپس top_weight(d, scaled) را بنویسید: 2,000 پرس‌وجوی تصادفی در برابر هر کدام 32 کلید تصادفی (اعداد نرمال، بذر 0)، میانگین بزرگ‌ترین وزن softmax. measured را پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.