Dropout، ساختهشده
چرا مهم است Dropout راهی ساده برای جلوگیری از تکیهٔ بیش از حد یک شبکه بر هر واحد تنهاست و آن را درون بسیاری از مدلها خواهید دید.
در طول آموزش، dropout هر واحد را بهطور تصادفی با احتمال p (مثلاً 0.5) در هر گام خاموش میکند. شبکه نمیتواند به هیچ واحد تنهایی تکیه کند، چون ممکن است گام بعد نباشد، پس دانستههایش را میان واحدهای بسیار پخش میکند.
درست نگه داشتن میانگین
اگر نیمی از واحدها خاموش باشند، لایهٔ بعد تقریباً نصف سیگنال را دریافت میکند. dropout وارونهی امروزی این را در طول آموزش درست میکند: واحدهایی که میمانند در 1 / (1 - p)، اینجا 2، ضرب میشوند. در زمان ارزیابی dropout اصلاً کاری نمیکند و میانگین سیگنال با آموزش جور است. (مقالهٔ اصلی 2014 به جای آن در زمان ارزیابی مقیاس میداد؛ نتیجه یکسان است، اما dropout وارونه کد ارزیابی را دستنخورده نگه میدارد.)
نرخ dropout یعنی p: احتمال خاموش کردن یک واحد در طول آموزش.
واژهها و نمادهای این درس
- dropout (p)
- خاموش کردن تصادفی واحدها با احتمال p در طول آموزش
dropout(h, p, training, rng) را بنویسید: در آموزش، هر درایه را با احتمال p صفر کنید و بازماندگان را در 1 / (1 - p) مقیاس دهید؛ وگرنه h را بدون تغییر برگردانید. از rng.random(h.shape) >= p بهعنوان ماسک نگهداشتن استفاده کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.