SimCLR: دو نما از یک عکس
چرا مهم است اکنون کل روش: نماهای تصادفی بهعلاوهٔ InfoNCE، تکرارشده. در هیچ لحظهای برچسبی نیست. آنچه یاد میگیرد تقریباً کاملاً به یک انتخابی بستگی دارد که شما میکنید: کدام تفاوتهای میان دو نما را به آن میگویند نادیده بگیرد.
هر گام: دستهای از عکسها بگیرید، با ssl.augment از هر کدام دو نمای تصادفی بسازید، هر دو را رمزگذاری کنید، با یک سر کوچک تصویرشان کنید و InfoNCE را کمینه کنید. افزایشهای داده کار را تعریف میکنند: هر چه میان دو نمای یک عکس فرق دارد (جای برش، تصویر آینهای، روشنایی، اشباع رنگ) همان چیزی است که شبکه یاد میگیرد نادیده بگیرد. هر چه یکسان میماند (شیء) همان چیزی است که یاد میگیرد نگه دارد.
اجراهای واقعی SimCLR از هزاران گام و دستههای بزرگ استفاده میکنند. اینجا یکی کوتاه را زنده اجرا میکنید (عرض 8، دستهٔ 32، 80 گام) تا پایین آمدن زیان را تماشا کنید، سپس اجراهای بلند ثبتشدهٔ دوره را میخوانید (عرض 32، 2500 گام از 128).
اجراهای ثبتشده دو گونه روی همان دستور را دارند: افزودن یک چرخش فام تصادفی به نماها (مقالهٔ SimCLR تغییرهای قوی رنگ را روی عکسهایش ضروری یافت)، و یک دمای بالاتر (0.5).
این حوزه اکنون کجاست SimCLR به منفیهای بسیار (عکسهای دیگر در دسته) نیاز دارد، پس با دستههای بسیار بزرگ بهتر آموزش میبیند (مقاله از 4,096 استفاده کرد). روشهای بعدی منفیها را کنار میگذارند: BYOL (2020) و DINO (2021) شبکهای را آموزش میدهند تا با کپی آهسته بهروزشدهٔ خودش جور شود، و MAE (2021) سهچهارم تکههای یک تصویر را پنهان و دوباره میسازد، نسخهٔ تصویری پر کردن جای خالی این ماژول. برای متن، همین تقسیم وجود دارد: پیشبینی ماسکدار (BERT) و پیشبینی توکن بعدی (GPT).
واژهها و نمادهای این درس
- پیشبینی ماسکدار
- پنهان کردن بخشی از ورودی و آموزش شبکه برای پر کردنش
- نما
- کپی تصادفی تغییردادهشده از یک تصویر: بریده، وارونه، روشنتر، کمرنگتر
- افزایش داده
- تغییر تصادفیای که یک نما را میسازد؛ تعیین میکند شبکه یاد بگیرد چه چیزی را نادیده بگیرد
- InfoNCE
- آنتروپی متقاطع روی پرسشی که دسته خودش تعیین میکند: کدام نمای دیگر از همان تصویر آمده؟
- دما
- آنچه شباهتها پیش از softmax بر آن تقسیم میشوند؛ کوچکتر انتخاب را تیزتر میکند
- SimCLR
- آموزش خودنظارتی با دو نما از هر تصویر و InfoNCE (Chen و همکاران 2020)
پیشآموزش زنده را اجرا کنید و live را با میانگین زیان روی 10 گام اول و 10 گام آخر پر کنید. سپس report را از اجراهای ثبتشده پر کنید: درستی کاوشگر (شیءهای اصلی) برای پیکسلهای خام، رمزگذار تصادفی، SimCLR، SimCLR با چرخش فام، و نظارتشده، بهعلاوهٔ gap، اینکه SimCLR چقدر از نظارتشده عقب است، بهصورت کسر (0.05 یعنی 5 امتیاز). در پایان hue_helped را True یا False قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.