یک CNN کوچک روی رقمها
چرا مهم است این ایدهٔ LeNet از 1998 است: کانولوشن، ادغام، کانولوشن، ادغام، سپس یک طبقهبند. آن را از لایههای دوره که به دست آوردهاید بسازید و ببینید روی رقمهای جابهجاشده از MLP بهتر است.
کتابخانهٔ دوره nnsim.engine لایههایی را دارد که ساختید: conv (3 در 3، لایهگذاری same)، relu، pool2 (میانگین 2 در 2)، gap (ادغام میانگین سراسری)، matmul، cross_entropy و Adam. یک وزن conv برای فیلترهای 3 در 3 از C_in به C_out کانال شکل (9 * C_in, C_out) دارد.
کتابخانهٔ دوره، در یک کارت (برای بقیهٔ دوره دم دست نگهش دارید؛ print(E.GUIDE) آن را در هر درسی دوباره نشان میدهد)
E.T(array)اعداد را بهصورت یک تنسور میپیچد..dataآرایه است (float32)؛.gradتا وقتیbackward()به آن برسدNoneاست.loss.backward()روی هر تنسوری که زیان به آن وابسته است.gradرا پر میکند.opt = E.Adam(params, lr)فهرستی از تنسورها میگیرد.opt.step()هر کدام را که گرادیان دارد بهروز میکند و سپس.gradآن را بهNoneبرمیگرداند، پس هرگز خودتان گرادیانها را صفر نمیکنید.- تصاویر کانال-در-آخرند: (batch, rows, columns, channels).
E.conv(x, w)اندازه را نگه میدارد (لایهگذاری same) و C کانال را باwبه شکل (9 * C, F) به F تبدیل میکند.E.pool2ردیفها و ستونها را نصف میکند؛E.gapآنها را با میانگین حذف میکند و (batch, channels) میدهد. E.cross_entropy(logits, y): logitها (batch, classes) بهصورت یک تنسور، y یک آرایهٔ سادهٔ اعداد صحیح. تنسوری با یک عدد برمیگرداند؛float(loss.data)آن را میخواند.- یک گام کامل آموزش سه خط است:
loss = E.cross_entropy(forward(Xb), yb)،loss.backward()،opt.step(). - اجراهای ثبتشده:
print(R.experiment(name))تنظیمهایش و نام سنجههایش را فهرست میکند؛run = exp.run(setting=value, ...)، سپسrun.loss(جفتهایی از گام و زیان)،run.metrics(یک دیکشنری) وrun.final_loss.
پیشبینی منحنی با نمودار: زیان آموزش را پس از دورهٔ 1 و پس از دورهٔ 8 (آخری) حدس بزنید.
واژهها و نمادهای این درس
- کانولوشن
- لغزاندن یک شبکهٔ کوچک از وزنها (یک فیلتر) روی یک تصویر، یک ضرب داخلی برای هر جایگاه
- فیلتر، نقشهٔ ویژگی
- شبکهٔ کوچک یادگرفتهشده از وزنها؛ و تصویر پاسخهایش
- لایهگذاری (p)، گام (s)
- صفرهایی که دور لبه اضافه میشوند؛ اینکه فیلتر در هر گام چند پیکسل حرکت میکند
- ادغام (pooling)
- کوچک کردن یک نقشه با نگه داشتن بیشینه یا میانگین هر بلوک
- RECORDED
- یک اجرای واقعی که دوره یک بار آموزش داده و برای مطالعهٔ شما ارائه میکند
my_guess را پر کنید، سپس train(epochs, seed) را بنویسید که تابعی predict(X) برمیگرداند. از conv(1 به 16) + relu، conv(16 به 32) + relu، ادغام میانگین سراسری، سپس یک لایهٔ خطی به 10 کلاس استفاده کنید. روی رقمهای آزمون دستکم به 90% و روی رقمهای آزمونی که 2 پیکسل جابهجا شدهاند (جایی که MLP حدود 21% گرفت) دستکم به 60% برسید. امتیاز جابهجاشده از بذری به بذر دیگر بسیار تغییر میکند (پاسخ خود دوره در پنج بذر 0.76 تا 0.89 میگیرد)، پس آستانه بسیار پایینتر از آن است. Adam با نرخ یادگیری حدود 1e-2 اینجا کار میکند؛ با 3e-3 این شبکهٔ کوچک برای درس بیش از حد آهسته یاد میگیرد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.