سرفصل‌ها درس 28 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

چرا عقب‌گرد ارزان است (حالت معکوس)

چرا مهم است یک شبکه میلیون‌ها وزن دارد. اگر هر گرادیان گذر خودش را لازم داشت، آموزش ناممکن بود. عقب رفتن همهٔ آن‌ها را تقریباً به بهای یک گذر بیشتر به دست می‌آورد.

اعداد کوچک

L = f3(f2(f1(x))) را در نظر بگیرید که x سه عدد دارد و L یک عدد است. با رفتن رو به جلو با جابه‌جایی، یک ورودی را جابه‌جا می‌کنید، آن را از هر سه گام عبور می‌دهید و یک گرادیان یاد می‌گیرید. سه ورودی یعنی سه سفر کامل.

با رفتن رو به عقب، از L که یک عدد است شروع می‌کنید و «L چقدر به این اهمیت می‌دهد؟» را از f3، سپس f2، سپس f1 به عقب می‌فرستید. یک سفر گرادیان همهٔ ورودی‌ها را با هم می‌دهد.

با 3 ورودی به جای 3 سفر 1 سفر می‌کنید. با یک میلیون وزن، 1 سفر به جای یک میلیون. البته یک سفر رو به عقب رایگان نیست: حدود 2 تا 3 گذر رو به جلو هزینه دارد، چون هر گام باید در شیب‌های محلی‌اش ضرب کند. پس در کار واقعی صرفه‌جویی حدود n / 3 است، که برای یک میلیون وزن هنوز حدود 300,000 برابر است. به همین دلیل هر کتابخانهٔ یادگیری عمیق رو به عقب کار می‌کند.

حالت معکوس: محاسبهٔ گرادیان‌ها با پیمودن از خروجی به عقب تا ورودی‌ها. واحد سازندهٔ آن حاصل‌ضرب بردار-ژاکوبین نام دارد؛ درس بعد آن را باز می‌کند.

خلاصه یک خروجی، ورودی‌های بسیار: رو به عقب بروید.

واژه‌ها و نمادهای این درس
بردار
فهرستی از اعداد، یکی برای هر ویژگی
نوبت شما

شمار عملیات را برای شبکه‌ای با n وزن و یک زیان پر کنید. forward_trips(n): روش جابه‌جایی-هر-ورودی چند گذر کامل لازم دارد (یک گذر جابه‌جاشده برای هر وزن؛ آن یک گذر جابه‌جانشده که آن را هم اجرا می‌کنید حساب نکنید). backward_trips(n): حالت معکوس چند پیمایش رو به عقب لازم دارد. سپس saving_for_a_million را برابر نسبت سفرها (نه کار) برای n = 1,000,000 قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.