Emparejar textos con imágenes (la idea de CLIP) (Opcional)
Por qué importa La búsqueda de imágenes por texto, y la parte de "entender" de los generadores de imágenes, parten de un solo truco: entrenar un codificador de imágenes y uno de texto para que una imagen y su descripción caigan cerca. Es InfoNCE otra vez, entre dos tipos de datos. Esta lección es opcional: no hace falta para el certificado.
Cada foto de aquí viene con una descripción verdadera, escrita a partir de cómo se generó: "a green ring on the left". El lado de la imagen es el codificador SimCLR congelado más una capa entrenable a 16 números. El lado del texto es una bolsa de palabras (un número por palabra: ¿está en la descripción?) por una capa entrenable a 16 números.
La pérdida es simétrica: para un lote de n parejas, cada imagen debe elegir su descripción entre las n descripciones, y cada descripción su imagen entre las n imágenes. Dos entropías cruzadas sobre la misma cuadrícula de similitudes de n x n, una a lo largo de las filas y otra a lo largo de las columnas.
La prueba pide algo más que "la imagen correcta primero": ¿la imagen que mejor coincide tiene al menos el color de la descripción? ¿Su objeto? ¿Su lado?
Palabras y símbolos de esta lección
- InfoNCE
- entropía cruzada sobre una pregunta que el propio lote plantea: ¿qué otra vista salió de la misma imagen?
- temperatura
- por lo que se dividen las similitudes antes del softmax; más pequeña hace más marcada la elección
- SimCLR
- entrenamiento autosupervisado con dos vistas de cada imagen e InfoNCE (Chen et al. 2020)
Escribe pair_loss(a, b, temperature) (tensores del motor de forma (n, 16): normaliza los dos con ssl.normalize (cada fila a longitud 1, como en la lección de InfoNCE), similitudes divididas por la temperatura, entropía cruzada a lo largo de las filas más entropía cruzada a lo largo de las columnas) y entrena 600 pasos de 128 parejas con temperatura 0.1. Apruebas con la imagen correcta primero para al menos el 5% de las descripciones de prueba (al azar, 0.5%).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.