شریکتان را از میان دسته پیدا کنید (InfoNCE)
چرا مهم است کل سیگنال آموزش SimCLR یک زیان است و از قبل آن را میشناسید: آنتروپی متقاطع است، روی یک پرسش چندگزینهای که شبکه خودش تعیین میکند.
دستهای از n عکس بگیرید و از هر کدام دو نمای تصادفی (برش، وارونه کردن، تغییر روشنایی و رنگ) بسازید. این 2n نما میدهد. برای هر نما، پرسش این است: کدام یک از 2n - 1 نمای دیگر از همان عکس آمده؟ دقیقاً یکی.
- هر نما را به یک بردار کوتاه z رمزگذاری کنید و هر z را به طول 1 مقیاس دهید.
- شباهت دو نما = ضرب داخلیشان (کسینوس)، تقسیم بر یک دما (اینجا 0.2): دماهای کوچک امتیازها را تیزتر میکنند.
- یک نما نمیتواند خودش را برگزیند: امتیاز خودش منفی بینهایت قرار داده میشود.
- آنتروپی متقاطع، با پاسخ درست که شریک است: شریک نمای i، i + n است (و برعکس).
صحنه را تماشا کنید: شش عکس، هر کدام دو نما، شبکهٔ شباهتها و انتخاب هر ردیف.
اعداد کوچک
دو عکس، پس چهار نما. اگر شباهتهای نمای 0 به نماهای 1، 2، 3 برابر 0.1، 0.9، 0.2 باشد (شریکش نمای 2 است)، تقسیم بر 0.2 به 0.5، 4.5، 1.0 تبدیل میشوند. softmax به شریک 0.954 میدهد و زیان نمای 0 برابر -log 0.954 = 0.047 است.
واژهها و نمادهای این درس
- نما
- کپی تصادفی تغییردادهشده از یک تصویر: بریده، وارونه، روشنتر، کمرنگتر
- InfoNCE
- آنتروپی متقاطع روی پرسشی که دسته خودش تعیین میکند: کدام نمای دیگر از همان تصویر آمده؟
- دما
- آنچه شباهتها پیش از softmax بر آن تقسیم میشوند؛ کوچکتر انتخاب را تیزتر میکند
- SimCLR
- آموزش خودنظارتی با دو نما از هر تصویر و InfoNCE (Chen و همکاران 2020)
info_nce(z, temperature) را با NumPy ساده برای z با شکل (2n, d) بنویسید که میانگین زیان روی همهٔ 2n ردیف را برمیگرداند. سپس example را محاسبه کنید: زیان برای دستهٔ چهارنمایی در کد آغازین.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.