LayerNorm و RMSNorm
چرا مهم است ترنسفورمرها از BatchNorm استفاده نمیکنند. هر نمونه را جداگانه نرمال میکنند، که از دام دستهای که همین حالا دیدید پرهیز میکند و برای هر اندازهٔ دستهای کار میکند.
- LayerNorm در عرض ویژگیهای هر نمونه (هر ردیف) نرمال میکند: میانگین ردیف را کم کنید، بر پراکندگی ردیف تقسیم کنید، سپس gamma و beta برای هر ویژگی. در آموزش و استفاده یکسان.
- RMSNorm سادهتر است و بسیاری از مدلهای زبانی اخیر از آن استفاده میکنند: از میانگین بگذرید و هر ردیف را بر ریشهٔ میانگین مربعاتش،
sqrt(mean(x squared) + eps)، تقسیم کنید، سپس در gamma ضرب کنید.
اعداد کوچک
ردیف [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm نتیجهٔ [0.849, 1.131] را میدهد. LayerNorm اول میانگین 3.5 را کم میکند: [-1, 1].
واژهها و نمادهای این درس
- Xavier، LeCun، He
- پراکندگیهای آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
- BatchNorm (gamma, beta)
- هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفتهشده دوباره مقیاس دهید
- LayerNorm، RMSNorm
- هر نمونه را جداگانه، در عرض ویژگیهایش، نرمال کنید
layernorm(X, gamma, beta, eps=1e-5) و rmsnorm(X, gamma, eps=1e-6) را، هر دو برای هر ردیف، بنویسید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.