Menguji fitur dengan classifier sederhana (linear probes)
Kenapa ini penting Tetangga terdekat memberikan jawaban kasar. Tes standar untuk fitur yang dipelajari adalah linear probe: bekukan fitur, latih hanya classifier linear di atasnya dengan beberapa label, dan ukur pada foto baru. Jika garis lurus bisa memisahkan objek, fitur tersebut sudah melakukan pekerjaan berat.
Probe adalah softmax regression dari Module 3, pada fitur bukan piksel:
- Standarkan setiap fitur dengan mean dan spread dari training set (dan gunakan angka yang sama pada test set).
- Gradient descent pada cross-entropy, semua baris pelatihan sekaligus: 1000 langkah, ukuran langkah 0.5, weight decay 0.001.
- Akurasi pada foto tes.
Ini sengaja dibuat lemah: model linear dengan 400 label. Itulah intinya. Model ini tidak bisa menciptakan fitur yang bagus; ia hanya bisa membaca apa yang sudah dikatakan oleh fitur tersebut.
Kata dan simbol di pelajaran ini
- probe linear
- a classifier linear yang dilatih pada fitur beku: tes tentang apa yang sudah dikatakan oleh fitur tersebut
- SimCLR
- pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Tulis my_probe(F_train, y_train, F_test, y_test) seperti yang dijelaskan (weights dan biases mulai dari nol). Lalu isi accuracy untuk encoder acak (ssl.Encoder(32, seed=0)) dan encoder SimCLR yang dicatat dengan probe kamu. Baseline pixel mentah (768 angka per foto) sudah dihitung untukmu dengan probe kursus, yang melakukan aritmatika yang sama dalam float32 pada fast matrix multiply: versi float64 kamu akan memakan waktu setengah menit untuk 768 input di browser.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.