سرفصل‌ها درس 83 از 246 · ماژول 6: وزن‌های آغازین و نرمال‌سازی
ماژول 6: وزن‌های آغازین و نرمال‌سازی

LayerNorm و RMSNorm

چرا مهم است ترنسفورمرها از BatchNorm استفاده نمی‌کنند. هر نمونه را جداگانه نرمال می‌کنند، که از دام دسته‌ای که همین حالا دیدید پرهیز می‌کند و برای هر اندازهٔ دسته‌ای کار می‌کند.

  • LayerNorm در عرض ویژگی‌های هر نمونه (هر ردیف) نرمال می‌کند: میانگین ردیف را کم کنید، بر پراکندگی ردیف تقسیم کنید، سپس gamma و beta برای هر ویژگی. در آموزش و استفاده یکسان.
  • RMSNorm ساده‌تر است و بسیاری از مدل‌های زبانی اخیر از آن استفاده می‌کنند: از میانگین بگذرید و هر ردیف را بر ریشهٔ میانگین مربعاتش، sqrt(mean(x squared) + eps)، تقسیم کنید، سپس در gamma ضرب کنید.

اعداد کوچک

ردیف [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm نتیجهٔ [0.849, 1.131] را می‌دهد. LayerNorm اول میانگین 3.5 را کم می‌کند: [-1, 1].

واژه‌ها و نمادهای این درس
Xavier، LeCun، He
پراکندگی‌های آغازین sqrt(2 / (inputs + outputs)) یا 1 / sqrt(inputs) برای tanh، و sqrt(2 / inputs) برای ReLU
BatchNorm (gamma, beta)
هر ویژگی را روی دسته نرمال کنید، سپس با gamma و beta یادگرفته‌شده دوباره مقیاس دهید
LayerNorm، RMSNorm
هر نمونه را جداگانه، در عرض ویژگی‌هایش، نرمال کنید
نوبت شما

layernorm(X, gamma, beta, eps=1e-5) و rmsnorm(X, gamma, eps=1e-6) را، هر دو برای هر ردیف، بنویسید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.