Silabus Pelajaran 198 dari 246 · Modul 18: Belajar tanpa label
Modul 18: Belajar tanpa label

Mencocokkan caption dengan gambar (ide CLIP) (Opsional)

Kenapa ini penting Pencarian teks ke gambar, dan bagian pemahaman dari generator gambar, dimulai dari satu trik: melatih picture encoder dan text encoder agar gambar dan captionnya berada berdekatan. Ini adalah InfoNCE lagi, di dua jenis data. Pelajaran ini opsional: tidak dibutuhkan untuk sertifikat.

Setiap foto di sini disertai dengan keterangan asli, ditulis dari cara fotonya dibuat: "cincin hijau di sebelah kiri". Sisi gambar adalah frozen SimCLR encoder ditambah satu trainable layer ke 16 angka. Sisi teks adalah bag of words (satu angka per kata: apakah ada di keterangan?) dikali satu trainable layer ke 16 angka.

Kerugiannya adalah simetris: untuk satu batch berisi n pasangan, setiap gambar harus memilih caption-nya dari n caption, dan setiap caption harus memilih gambarnya dari n gambar. Dua cross-entropy pada grid kemiripan n x n yang sama, satu di sepanjang baris dan satu di sepanjang kolom.

Tes ini meminta lebih dari sekadar "gambar yang benar di awal": apakah gambar yang paling cocok setidaknya memiliki warna dari caption? Objeknya? Sisinya?

Kata dan simbol di pelajaran ini
InfoNCE
cross-entropy pada pertanyaan yang dibuat oleh batch: pandangan lain mana yang berasal dari gambar yang sama?
temperature
kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
SimCLR
pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Giliranku

Tulis pair_loss(a, b, temperature) (engine tensors dengan bentuk (n, 16): normalisasi keduanya dengan ssl.normalize (setiap baris ke panjang 1, seperti di pelajaran InfoNCE), kemiripan dibagi dengan temperature, cross-entropy sepanjang baris ditambah cross-entropy sepanjang kolom) dan latih 600 langkah dari 128 pasangan pada temperature 0.1. Lolos dengan gambar yang benar pertama untuk setidaknya 5% dari caption tes (peluang 0.5%).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.