Mencocokkan caption dengan gambar (ide CLIP) (Opsional)
Kenapa ini penting Pencarian teks ke gambar, dan bagian pemahaman dari generator gambar, dimulai dari satu trik: melatih picture encoder dan text encoder agar gambar dan captionnya berada berdekatan. Ini adalah InfoNCE lagi, di dua jenis data. Pelajaran ini opsional: tidak dibutuhkan untuk sertifikat.
Setiap foto di sini disertai dengan keterangan asli, ditulis dari cara fotonya dibuat: "cincin hijau di sebelah kiri". Sisi gambar adalah frozen SimCLR encoder ditambah satu trainable layer ke 16 angka. Sisi teks adalah bag of words (satu angka per kata: apakah ada di keterangan?) dikali satu trainable layer ke 16 angka.
Kerugiannya adalah simetris: untuk satu batch berisi n pasangan, setiap gambar harus memilih caption-nya dari n caption, dan setiap caption harus memilih gambarnya dari n gambar. Dua cross-entropy pada grid kemiripan n x n yang sama, satu di sepanjang baris dan satu di sepanjang kolom.
Tes ini meminta lebih dari sekadar "gambar yang benar di awal": apakah gambar yang paling cocok setidaknya memiliki warna dari caption? Objeknya? Sisinya?
Kata dan simbol di pelajaran ini
- InfoNCE
- cross-entropy pada pertanyaan yang dibuat oleh batch: pandangan lain mana yang berasal dari gambar yang sama?
- temperature
- kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
- SimCLR
- pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Tulis pair_loss(a, b, temperature) (engine tensors dengan bentuk (n, 16): normalisasi keduanya dengan ssl.normalize (setiap baris ke panjang 1, seperti di pelajaran InfoNCE), kemiripan dibagi dengan temperature, cross-entropy sepanjang baris ditambah cross-entropy sepanjang kolom) dan latih 600 langkah dari 128 pasangan pada temperature 0.1. Lolos dengan gambar yang benar pertama untuk setidaknya 5% dari caption tes (peluang 0.5%).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.