سرفصل‌ها درس 150 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

نرمال‌سازی لایه: هر بردار را در محدوده نگه دارید

چرا مهم است ماژول 6 فعال‌سازی‌ها را با نرمال‌سازی دسته‌ای سالم نگه داشت، که روی دسته میانگین می‌گیرد. دسته‌های متن در طول متفاوت‌اند و تولید هر بار روی یک دنباله اجرا می‌شود، پس ترنسفورمرها بردار هر جایگاه را جداگانه نرمال می‌کنند: نرمال‌سازی لایه.

برای یک بردار x از d عدد: میانگینش را کم کنید، بر انحراف معیارش (به‌علاوهٔ یک اپسیلون ریز، 1e-5، تا هرگز بر 0 تقسیم نکنیم) تقسیم کنید، سپس با g و b یادگرفته‌شده مقیاس دهید و جابه‌جا کنید:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

بردار هر توکن با میانگین 0 و پراکندگی 1 وارد هر بخش توجه و هر بخش پیش‌خور می‌شود، هر قدر جمع جاری بزرگ شده باشد.

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
نرمال‌سازی لایه
هر بردار را جداگانه نرمال کنید: میانگین 0، پراکندگی 1، سپس ضرب در g به‌علاوهٔ b
نوبت شما

layer_norm(x, g, b) را برای آرایه‌ای با هر شکلی، با نرمال‌سازی در طول آخرین محور، بنویسید. باید با layernorm موتور دوره جور باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.