سرفصل‌ها درس 119 از 246 · ماژول 10: شبکه‌هایی که می‌بینند (CNNها)
ماژول 10: شبکه‌هایی که می‌بینند (CNNها)

یک CNN کوچک روی رقم‌ها

چرا مهم است این ایدهٔ LeNet از 1998 است: کانولوشن، ادغام، کانولوشن، ادغام، سپس یک طبقه‌بند. آن را از لایه‌های دوره که به دست آورده‌اید بسازید و ببینید روی رقم‌های جابه‌جاشده از MLP بهتر است.

کتابخانهٔ دوره nnsim.engine لایه‌هایی را دارد که ساختید: conv (3 در 3، لایه‌گذاری same)، relu، pool2 (میانگین 2 در 2)، gap (ادغام میانگین سراسری)، matmul، cross_entropy و Adam. یک وزن conv برای فیلترهای 3 در 3 از C_in به C_out کانال شکل (9 * C_in, C_out) دارد.

کتابخانهٔ دوره، در یک کارت (برای بقیهٔ دوره دم دست نگهش دارید؛ print(E.GUIDE) آن را در هر درسی دوباره نشان می‌دهد)

  • E.T(array) اعداد را به‌صورت یک تنسور می‌پیچد. .data آرایه است (float32)؛ .grad تا وقتی backward() به آن برسد None است.
  • loss.backward() روی هر تنسوری که زیان به آن وابسته است .grad را پر می‌کند.
  • opt = E.Adam(params, lr) فهرستی از تنسورها می‌گیرد. opt.step() هر کدام را که گرادیان دارد به‌روز می‌کند و سپس .grad آن را به None برمی‌گرداند، پس هرگز خودتان گرادیان‌ها را صفر نمی‌کنید.
  • تصاویر کانال-در-آخرند: (batch, rows, columns, channels). E.conv(x, w) اندازه را نگه می‌دارد (لایه‌گذاری same) و C کانال را با w به شکل (9 * C, F) به F تبدیل می‌کند. E.pool2 ردیف‌ها و ستون‌ها را نصف می‌کند؛ E.gap آن‌ها را با میانگین حذف می‌کند و (batch, channels) می‌دهد.
  • E.cross_entropy(logits, y): logitها (batch, classes) به‌صورت یک تنسور، y یک آرایهٔ سادهٔ اعداد صحیح. تنسوری با یک عدد برمی‌گرداند؛ float(loss.data) آن را می‌خواند.
  • یک گام کامل آموزش سه خط است: loss = E.cross_entropy(forward(Xb), yb)، loss.backward()، opt.step().
  • اجراهای ثبت‌شده: print(R.experiment(name)) تنظیم‌هایش و نام سنجه‌هایش را فهرست می‌کند؛ run = exp.run(setting=value, ...)، سپس run.loss (جفت‌هایی از گام و زیان)، run.metrics (یک دیکشنری) و run.final_loss.

پیش‌بینی منحنی با نمودار: زیان آموزش را پس از دورهٔ 1 و پس از دورهٔ 8 (آخری) حدس بزنید.

واژه‌ها و نمادهای این درس
کانولوشن
لغزاندن یک شبکهٔ کوچک از وزن‌ها (یک فیلتر) روی یک تصویر، یک ضرب داخلی برای هر جایگاه
فیلتر، نقشهٔ ویژگی
شبکهٔ کوچک یادگرفته‌شده از وزن‌ها؛ و تصویر پاسخ‌هایش
لایه‌گذاری (p)، گام (s)
صفرهایی که دور لبه اضافه می‌شوند؛ اینکه فیلتر در هر گام چند پیکسل حرکت می‌کند
ادغام (pooling)
کوچک کردن یک نقشه با نگه داشتن بیشینه یا میانگین هر بلوک
RECORDED
یک اجرای واقعی که دوره یک بار آموزش داده و برای مطالعهٔ شما ارائه می‌کند
نوبت شما

my_guess را پر کنید، سپس train(epochs, seed) را بنویسید که تابعی predict(X) برمی‌گرداند. از conv(1 به 16) + relu، conv(16 به 32) + relu، ادغام میانگین سراسری، سپس یک لایهٔ خطی به 10 کلاس استفاده کنید. روی رقم‌های آزمون دست‌کم به 90% و روی رقم‌های آزمونی که 2 پیکسل جابه‌جا شده‌اند (جایی که MLP حدود 21% گرفت) دست‌کم به 60% برسید. امتیاز جابه‌جاشده از بذری به بذر دیگر بسیار تغییر می‌کند (پاسخ خود دوره در پنج بذر 0.76 تا 0.89 می‌گیرد)، پس آستانه بسیار پایین‌تر از آن است. Adam با نرخ یادگیری حدود 1e-2 اینجا کار می‌کند؛ با 3e-3 این شبکهٔ کوچک برای درس بیش از حد آهسته یاد می‌گیرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.