چرا بر ریشهٔ دوم d تقسیم کنیم
چرا مهم است هر ترنسفورمر امتیازهای توجهش را بر ریشهٔ دوم اندازهٔ کلید تقسیم میکند. حذفش کنید و توجه دیگر نمیآمیزد و گرادیانهایش تقریباً محو میشوند. چراییاش را میسنجید.
یک ضرب داخلی دو بردار تصادفی به طول d، d حاصلضرب را جمع میزند. هر کدام پراکندگی حدود 1 دارد، پس جمع پراکندگی حدود ریشهٔ دوم d دارد. دلیلش: وقتی اعداد تصادفی مستقل را جمع میزنید، پراکندگیهایشان جمع نمیشوند، مربعهایشان جمع میشوند (مربعها واریانس نام دارند). d حاصلضرب، هر کدام با واریانس 1، واریانس d میدهند، پس پراکندگی ریشهٔ دوم d است. برای d = 64 این 8 است.
امتیازهایی که در مثبت و منفی 8 یا بیشتر پخش شدهاند softmax را تقریباً one-hot میکنند: یک وزن نزدیک 1، بقیه نزدیک 0. یک softmax یکداغ گرادیانهای ریزی دارد: شیب هر خروجی نسبت به امتیاز خودش p(1 - p) است، که وقتی p نزدیک 0 یا 1 است نزدیک 0 است (درس گرادیان softmax ماژول 2 آن را به دست میآورد و درس رو به عقب از طریق توجه این ماژول از آن استفاده میکند)، پس مدل آهسته یاد میگیرد. تقسیم بر ریشهٔ دوم d پراکندگی را، هر چه d باشد، به حدود 1 برمیگرداند.
پیشبینی کنید: وقتی d از 4 تا 256 رشد میکند، با و بدون تقسیم چه بر سر بزرگترین وزن میآید؟
واژهها و نمادهای این درس
- پرسوجو، کلید، مقدار
- آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه میکند؛ آنچه تحویل میدهد
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
my_guess را پر کنید. سپس top_weight(d, scaled) را بنویسید: 2,000 پرسوجوی تصادفی در برابر هر کدام 32 کلید تصادفی (اعداد نرمال، بذر 0)، میانگین بزرگترین وزن softmax. measured را پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.