نرمالسازی لایه: هر بردار را در محدوده نگه دارید
چرا مهم است ماژول 6 فعالسازیها را با نرمالسازی دستهای سالم نگه داشت، که روی دسته میانگین میگیرد. دستههای متن در طول متفاوتاند و تولید هر بار روی یک دنباله اجرا میشود، پس ترنسفورمرها بردار هر جایگاه را جداگانه نرمال میکنند: نرمالسازی لایه.
برای یک بردار x از d عدد: میانگینش را کم کنید، بر انحراف معیارش (بهعلاوهٔ یک اپسیلون ریز، 1e-5، تا هرگز بر 0 تقسیم نکنیم) تقسیم کنید، سپس با g و b یادگرفتهشده مقیاس دهید و جابهجا کنید:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
بردار هر توکن با میانگین 0 و پراکندگی 1 وارد هر بخش توجه و هر بخش پیشخور میشود، هر قدر جمع جاری بزرگ شده باشد.
واژهها و نمادهای این درس
- توجه
- softmax امتیازهای پرسوجو-کلید، که برای میانگین گرفتن مقدارها به کار میرود
- نرمالسازی لایه
- هر بردار را جداگانه نرمال کنید: میانگین 0، پراکندگی 1، سپس ضرب در g بهعلاوهٔ b
layer_norm(x, g, b) را برای آرایهای با هر شکلی، با نرمالسازی در طول آخرین محور، بنویسید. باید با layernorm موتور دوره جور باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.