سرفصل‌ها درس 195 از 246 · ماژول 18: یادگیری بدون برچسب
ماژول 18: یادگیری بدون برچسب

آزمودن ویژگی‌ها با یک طبقه‌بند ساده (کاوشگرهای خطی)

چرا مهم است نزدیک‌ترین همسایه‌ها پاسخی تقریبی دادند. آزمون استاندارد ویژگی‌های یادگرفته‌شده یک کاوشگر خطی است: ویژگی‌ها را منجمد کنید، فقط یک طبقه‌بند خطی را با چند برچسب روی آن آموزش دهید و آن را روی عکس‌های تازه بسنجید. اگر یک خط راست بتواند شیءها را جدا کند، ویژگی‌ها کار سخت را انجام دادند.

کاوشگر همان رگرسیون softmax ماژول 3 است، روی ویژگی‌ها به جای پیکسل‌ها:

  1. هر ویژگی را با میانگین و پراکندگی مجموعهٔ آموزش استاندارد کنید (و همان اعداد را روی مجموعهٔ آزمون به کار ببرید).
  2. نزول گرادیان روی آنتروپی متقاطع، همهٔ ردیف‌های آموزش با هم: 1000 گام، اندازهٔ گام 0.5، کاهش وزن 0.001.
  3. درستی روی عکس‌های آزمون.

عمداً ضعیف است: یک مدل خطی با 400 برچسب. هدف همین است. نمی‌تواند ویژگی‌های خوب ابداع کند؛ فقط می‌تواند آنچه ویژگی‌ها از قبل می‌گویند را بخواند.

واژه‌ها و نمادهای این درس
کاوشگر خطی
یک طبقه‌بند خطی که روی ویژگی‌های منجمد آموزش دیده: آزمونی از آنچه ویژگی‌ها از قبل می‌گویند
SimCLR
آموزش خودنظارتی با دو نما از هر تصویر و InfoNCE (Chen و همکاران 2020)
نوبت شما

my_probe(F_train, y_train, F_test, y_test) را همان‌طور که توصیف شد بنویسید (وزن‌ها و بایاس‌ها از صفر شروع می‌کنند). سپس accuracy را برای یک رمزگذار تصادفی (ssl.Encoder(32, seed=0)) و رمزگذار ثبت‌شدهٔ SimCLR با کاوشگر خودتان پر کنید. خط پایهٔ پیکسل خام (768 عدد برای هر عکس) برایتان با کاوشگر دوره محاسبه شده، که همان حساب را در float32 روی ضرب ماتریسی سریع انجام می‌دهد: نسخهٔ float64 شما روی 768 ورودی در مرورگر نیم دقیقه طول می‌کشید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.