جور کردن زیرنویسها با تصاویر (ایدهٔ CLIP) (اختیاری)
چرا مهم است جستوجوی متن به تصویر، و بخش «فهم» مولدهای تصویر، از یک ترفند شروع میکنند: یک رمزگذار تصویر و یک رمزگذار متن را طوری آموزش دهید که یک تصویر و زیرنویسش نزدیک هم فرود آیند. باز هم InfoNCE است، در دو نوع داده. این درس اختیاری است: برای گواهی لازم نیست.
هر عکس اینجا با یک زیرنویس درست همراه است که از روی نحوهٔ تولیدش نوشته شده: «a green ring on the left». سمت تصویر رمزگذار منجمد SimCLR بهعلاوهٔ یک لایهٔ قابل آموزش به 16 عدد است. سمت متن یک کیسهٔ واژه (یک عدد برای هر واژه: آیا در زیرنویس هست؟) ضرب در یک لایهٔ قابل آموزش به 16 عدد است.
زیان متقارن است: برای دستهای از n جفت، هر تصویر باید زیرنویسش را از میان n زیرنویس و هر زیرنویس تصویرش را از میان n تصویر برگزیند. دو آنتروپی متقاطع روی همان شبکهٔ شباهت n x n، یکی در طول ردیفها و یکی در طول ستونها.
آزمون بیش از «تصویر درست اول» میپرسد: آیا بهترین تصویر جورشده دستکم رنگ زیرنویس را دارد؟ شیئش را؟ سمتش را؟
واژهها و نمادهای این درس
- InfoNCE
- آنتروپی متقاطع روی پرسشی که دسته خودش تعیین میکند: کدام نمای دیگر از همان تصویر آمده؟
- دما
- آنچه شباهتها پیش از softmax بر آن تقسیم میشوند؛ کوچکتر انتخاب را تیزتر میکند
- SimCLR
- آموزش خودنظارتی با دو نما از هر تصویر و InfoNCE (Chen و همکاران 2020)
pair_loss(a, b, temperature) را بنویسید (تنسورهای موتور با شکل (n, 16): هر دو را با ssl.normalize نرمال کنید (هر ردیف به طول 1، مثل درس InfoNCE)، شباهتها تقسیم بر دما، آنتروپی متقاطع در طول ردیفها بهعلاوهٔ آنتروپی متقاطع در طول ستونها) و 600 گام از 128 جفت با دمای 0.1 آموزش دهید. با تصویر درست در رتبهٔ اول برای دستکم 5% زیرنویسهای آزمون (شانس 0.5%) قبول میشوید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.